Wide Activation for Efficient and Accurate Image Super-Resolution文章解读

Wide Activation for Efficient and Accurate Image Super-Resolution

文章地址：https://arxiv.org/abs/1808.08718v1

论文代码：https://github.com/JiahuiYu/wdsr_ntire2018

 

        最近才看到这篇文章，我认为里面有好多东西还是很不错的，至少文中不是单纯的网络结构的堆叠。我会适当记录这篇文章提出的观点，这些观点对之后设计网络有借鉴的意义。

       Instead of adding various shortcut connections, we conjecture that the non-linear ReLUs impede information flow from shallow layers to deeper ones.（作者推测非线性ReLU激活函数阻碍了信息从浅层流动至深层，而不是增加各种便捷的跳跃链接。）

        在残差超分辨率网络基础上，作者展示了在不增加额外的参数和计算的情况下，在ReLU激活函数之前简单地增加特征图的数量能够显著地提升超分辨率重建的结果。胜过了使用复杂的跳跃连接和串联的超分辨率任务，包括SRDenseNet和MemNet。

        上图是原始的残差块结构，下图是文章给出的结构

 

        左边的是带有较宽激活函数的残差块，右边的是带有较宽激活函数和线性低秩卷积的残差块。

 

提出的工作

Wide Activation: WDSR-A

       在没有增加计算的情况下，主要讨论的是在ReLU激活函数的之前增加特征图的数量。在残差块的前提下，考虑更宽激活函数的效用。很自然的方式就是将特征图的通道数增加。然而，它只能证明更多的参数可以带来更好的性能。因此，在本节中，我们设计我们的SR网络来研究在使用相同参数和计算预算激活之前宽激活函数的重要性。我们实现宽激活函数的第一步非常简单。我们对残差主线映射的特征图进行了压缩，同时在输入激活函数前对残差特征进行了扩展。

       根据EDSR，专门研究了两层残差块。假设残差连接宽度为，残差块内激活前宽度为。在激活函数前引入扩张因子，则。在普通残差网络中，，每个残差块的参数个数为。当我们确定输入图像块的大小时，计算复杂度是参数数量的常数倍。为了保持相同的计算复杂度，残差通路需要作为因子进行压缩，同时激活函数部分需要作为因子进行扩张。

       这个简单的想法形成了我们第一个宽激活的SR网络WDSR-A。实验表明，当在2 ~ 4之间时，WDSR-A对提高SISR的精度非常有效。然而，对于大于此阈值的，性能会迅速下降。这可能是由于残差路径的通道变得太窄。例如，在我们的基准EDSR×3超分辨率中，当大于6时，将比最终的HR图像表示空间更小，其中是缩放因子，3表示RGB通道。

       因此，我们寻求参数有效卷积，以进一步提高精度和效率与更广泛的激活。因此，我们寻求参数有效卷积，以进一步提高宽激活函数的精度和效率。

Efficient Wide Activation: WDSR-B

       为了解决上述局限性，我们保持了残差通路的通道数不变，并探索了更有效的扩展特征的方法。我们特别考虑1×1的卷积。1×1卷积广泛用于ResNets、ResNeXts和MobileNetV2中信道数的扩展或减少。在WDSR-B中，我们首先使用1×1来扩展通道数，然后在卷积层之后应用非线性(ReLUs)。进一步提出了一种有效的线性低秩卷积算法，该算法将一个大的卷积核分解为两个低秩卷积核。它是一个由一个1×1卷积组成的堆栈，用来减少通道数量，一个3×3卷积用来进行空间方向的特征提取。我们发现在线性低秩卷积中加入ReLU激活显著降低了精度，这也支持了宽激活函数的假说。

Weight Normalization vs. Batch Normalization

       在这一部分中，我们主要分析了批量归一化(BN)和权重归一化(WN)的不同目的和效果。我们提供了三个直观的理由，说明为什么批量归一化不适用于图像SR任务。然后证明了权值归一化不存在BN有的缺点，并且可以有效地缓解深度SR网络的训练难度。

网络结构

        在EDSR上进行两个主要的修改，就变成了本文的网络模型。

全局残差：

       首先，作者发现全局残差路径是由多个卷积层组成的线性堆栈，计算量较大。 作者认为这些线性卷积是冗余的(图2)，在一定程度上可以被吸收到残差块中。 因此，我们稍微修改网络结构，使用核大小为5×5的单层卷积层，直接以3×H×W LR RGB图像/patch为输入输出对应的的HR，其中S为尺度。 这减少了参数和计算量。 在我们的实验中，我们没有发现任何精度下降与我们的简单形式。

上采样层：

       不同于以往的技术，在上采样后插入一个或多个卷积层。我们提出的WDSR在低分辨率阶段提取所有特征。实验表明，该方法在提高速度的同时，对SR网络的精度没有影响。