论文地址:http://openaccess.thecvf.com/content_CVPR_2019/papers/Dai_Second-Order_Attention_Network_for_Single_Image_Super-Resolution_CVPR_2019_paper.pdf
清华、鹏城实验室、香港理工大学、阿里达摩院
先来两张效果图
1、论文贡献
- 提出一个深的二阶注意力网络(Second-order Attention Network,SAN)
- 提出了一个非局部增强残差组(Non-locally Enhanced Residual Group,NLRG) ,提取深度特征,捕获长距离空间上下文信息(long-distance spatial contextual information)
- 提出了一个二阶通道注意力机制(Second-order Channel Attention,SOCA)以实现特征的相关性学习
2、网络分析
SAN
从图中1可以看出SAN的主要由四部分组成:浅层特征提取(shallow feature extraction)即第一个卷积,非局部增强残差组(NLRG) 提取深度特征(deep feature,DF),上采样模块(upscale module),重建模块(reconstruction part)即最后一个卷积。
四个部分对应四个公式:
NLRG
还是从图中1可以看出NLRG是由两个区域级非局部模块(Region-level non-local module,RL-NL)与一个同源残差组(Share-source Residual Group,SSRG)组成。
RL-NL
看向图中的2,将输入分成四块(k2 block,k=2),对每一块都做一次non-local operations,组装。
之所以这篇文章的非局部操作是区域级(RL)的,出于两点考虑,第一就是减少计算量,第二就是本来的nonlocal neural network是做的全局操作,但对于low-level的任务(SR就是其中一个啦)来说使用non-local operations辅以一个合适的neighborhood size更事半功倍。详细分析来自于Non-local recurrent network for image restoration(NLRN)。
SSRG
看回图中的1,SSRG主要就是由G(G=20)个局部源残差注意力模块(local-source residual attention groups,LSRAG)跟一个卷积组成,还用了同源残差连接结构(share-source skip connections,SSC),把LR图像中丰富的低频信息传递给high-level的所有层。
公式来两个:
这里的F0是经过RL-NL后的F0,FG是经过卷积后得到的FG,WSSC通过学习调整的,初始为0
LSRAG
接下来跳到图中的3,LSRAG主要是由M(M=10)个残差块堆叠以及一个二阶通道注意力模块(second-order channel attention,SOCA)组成。
(ps:按论文中的内容看残差传递的是F0,感觉这个图从Fg,1画的skip connection有点问题)
SOCA
OK,终于来到了点题模块SOCA,
- 论文里面提了下SENet,SENet中使用global average pooling按通道做了个数值分布情况统计(Squeeze操作),它只用了一阶的数据,而Is second-order information helpful for large-scale visual recognition和Bilinear cnn models for fine-grained visual recognition这两篇论文表明特征的二阶统计分布更有利于获得有区分度的表达,如此才诞生了SODA。
看到图中的4,
首先,HGCP表示全局协方差池化(global covariance pooling)操作,先将将输入特征rashape为CxHW的矩阵X,算出其对应的协方差矩阵Σ,因为Σ是个对称的半正定矩阵,所以可以得出它的特征值分解,协方差归一化通过控制对角矩阵的指数α(论文取值为0.5)实现,最后对C个列向量分别求均值得到z。
然后,用接下来的两个卷积WD和WU(也就是做了通道的降维(C/r=64/16)跟通道还原(C=64))得到最终的二阶通道注意力向量w。
f是sigmoid,δ是RELU(4里面没有体现δ)
最后,将注意力向量与输入特征按通道相乘得到新的feature maps。
做特征值分解训练太慢了,所以论文最终用了牛顿迭代法做了加速,这里不展开。
3、实验
Settings
训练集DIV2K dataset,优化器用的SGD,损失函数用了L1 loss
Analysis
Results
指标很高。