LatticeNet:Towards Lightweight Image Super-resolution with Lattice Block
期刊:ECCV
发布时间:2020年7月
这篇文章是2020年除了HRAN外,PSNR值最高,效果不错的一篇文章。
论文链接:点此下载源论文
这篇文章主要解决的问题:深度神经网络虽然在单图像超分上取得不错的效果,但是牺牲了计算复杂度以及内存存储。
这篇文章的主要解决办法:
- 设计LB(Lattice Block)
使用残差块、注意机制 - 采用反向特征融合
分层提取上下文信息
效果:保持相似性能的同时减少近一半的参数量、在基准数据集上精确度较高、计算复杂度及内存需求较小。
主要贡献:
- 设计LB:基于蝴蝶结构的格子滤波器
- LB是组合系数和残差块自适应的组合
- LB倾向于轻量级模型设计:使用反向融合策略提取分层上下文信息
- LB代替RB,相对于基准SR模型将会减少了近一半的参数,同时保持相同的性能
下面从以下几个方面对文章进行讲解:
- LB
- 组合系数
- 反向特征融合
- 整体网络结构
- 损失函数
- 实验
- 结论
**
LB:
**
图(a)称为蝴蝶结构,图(b)为两个级联的蝴蝶结构,并加入了RB。
图(b)的计算公式为:
将Pi-1与Qi-1带入下方公式有:
随后对结果进行1*1卷积,即可得到LB块的输出结果
**
组合系数
**
组合系数或称为连接权值,通过注意机制计算而来
这里包含上下两个分支,上分支采用全局平均池化— 11卷积—Relu — 11卷积— Sigmoid;下分支采用全局标准差池化— 11卷积—Relu — 11卷积— Sigmoid
**
反向特征融合
**
首先对每个LB块左11卷积,使通道数减少一半,然后依次从后向前作Cat操作,之后再进行11卷积。以此类推,直到跟F1作完1*1卷积后的特征Cat在一起,结束融合操作。
**
整体网络结构
**
- 两个3*3的卷积,做浅特征提取
- 四个级联的LB
- 反向特征融合BFM
- 级联LB以及BFM做残差
- 上采样
**
损失函数
**
采用MAE损失,即L1损失
**
实验
**
训练集、验证集:DIV2K
测试集:Set5、Set14、B100、Urban100
优化器:Adam
学习率:2e-4 每200epoch减少一半
运行时间:1天 (GTX 1080 GPU)
**
结论
**
- 本文设计了有利于轻量级模型设计的LB块,可以根据组合系数有效的组合残差块。
- 通过注意机制学习组合系数,提高SR性能;可以运用到采用残差块的其他SR网络中。
- 采用反向特征融合策略整合上下文信息。