RCAN论文总结

• Image Super-Resolution Using Very Deep Residual Channel Attention Networks
  • 论文解决的问题：
  • 论文使用的主要方法：

Image Super-Resolution Using Very Deep Residual Channel Attention Networks

论文解决的问题：

• 更深层次的图像SR网络更难训练
• 低分辨率的输入和特征包含丰富的低频信息，这些信息在信道间被平等对待，从而阻碍了CNNs的表征能力

论文使用的主要方法：

1. 提出RCAN网络

   

   1. shallow feature extraction(与之前的模型EDSR、RDN一样)：
      只有一个卷积层(Conv)来提取浅特征

   2. residual in residual (RIR) deep feature extraction:
      它的输出作为深层特征

   3. upscale module(与之前的模型EDSR、RDN一样)
      several choices to serve as upscale modules：
      1. 反褶积层(也称为转置卷积)
      2. nearest-neighbor upsampling + convolution
      3. ESPCN

   4. reconstruction part
      (与之前的模型EDSR、RDN一样)

2. loss function ：

   • $l_{1}loss$ or $l_{2}loss$ or perceptual loss or adversarial loss
   • optimized by using stochastic gradient descent

3. 提出RIR（residual in residual）结构
   

   1. consists of several residual groups(RG) with long skip connections(LSC)
   2. Each residual group contains some residual channel attention blocks(RCAB) with short skip connections(SSC)
   3. low-frequency information can be bypassed through identity-based skip connection

4. 提出一种channel attention mechanism

   • 
     • 提出了一种信道注意机制，通过考虑信道间的相互依赖关系，自适应地重新调整信道特征
     • 问题：如何为每个不同的频道产生不同的注意是关键的一步。这里我们主要关注点:
       1. LR空间中的信息具有丰富的低频成分和有价值的高频成分
       2. Conv层的每个filer都与一个局部感受野一起工作,使得卷积后的输出无法利用局部区域以外的上下文信息
     • 方法：通过使用全局平均池，我们将信道方面的全局空间信息转化为信道描述符：
       1. Input：$X=[x_1,\cdots ,x_c,\cdots ,x_C]$($C$ feature maps with size of $H\times W$)
       2. 通过空间维数 $H\times W$来缩小$X$，可以得到信道统计量 $z\in {\mathbb{R}}^C$
          $z_c=H_{GP}(x_c)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{x}_c(i,j)$
       3. 这种信道统计可以看作是局部描述符的集合，其统计有助于表示整个图像
       4. 为了通过全局平均池从聚合的信息中完全捕获信道依赖关系，我们引入了一个门机制two criteria:1.可以学习在信道间的非线性的交互。2.由于可以强调多通道特性，而不是one-hot激活，因此必须学习一种非互斥关系。
          • $s=f(W_U\delta (W_{D}z))$
          • $f(\cdot )$:sigmoid gating
          • $\delta (\cdot )$:ReLU function
          • $W_D$是一个Conv层的权值集，它的作用是按压缩比r进行信道上的下采样
          • 经ReLU激活后，低纬信号按比例r通过信道上的上采样层，其权值设置为$W_U$
   • 
     • the residual component is mainly obtained by two stacked Conv layers
     • 我们发现MDSR(no rescaling operation)和EDSR(constant rescaling 0.1,没有考虑通道之间的相互依赖关系)中使用的RBs可以看作是我们RCAB的特例