SCN论文理解

Scale-wise Convolution for Image Restoration AAAI

用于图像恢复的按比例卷积

https://github.com/ychfan/scn sr.
问题
单纯地将尺度不变技术(如多尺度测试、随机尺度数据增强)应用到图像恢复任务中，往往会导致性能低下。

贡献

1. 证明在神经网络中适当地建模尺度不变性能显著提高图像恢复性能。

2. 灵感来自于平移不变性的空间向卷积，提出了 模拟尺度不变性的尺度向卷积****跨多个尺度的卷积来实现尺度不变性，即通过对多个尺度进行卷积来实现尺度不变性。

3. 与单尺度模型相比，多尺度模型显著提高了性能。

4. 尺度卷积跨尺度建模比一般多尺度模型具有更大的参数效率，实现了更好的效率-精度权衡

5. 尺度向卷积的好处在于特征金字塔的尺度更大，以及两者之间的尺度比合适。此外，在图像超分辨率、去噪和压缩伪影去除方面，我们所提出的SCN可以以更少的参数获得比目前最先进的方法更好的结果。

效果

1. 在实验中，我们比较了我们的模型和许多不同类型的多尺度神经网络之间的恢复精度和参数效率。本文提出的尺度卷积网络在图像超分辨率、去噪和图像压缩伪影去除等多种图像恢复任务中都取得了优异的性能。
2. 与空间卷积比较。常规的空间卷积从邻近的像素探索上下文信息。在卷积神经网络中(假设没有池化操作)，接受野随卷积层的增加而线性增长。我们提出的尺度卷积是建立在一个多尺度特征金字塔上。它在每一层相互交换跨尺度的信息，空间感受场由于将较小尺度的信息逐步融合到当前尺度中而呈指数增长。

做法

1. 我们首先将输入图像映射到特征空间，
2. 然后通过双线性递减的方式逐步构建特征金字塔表示。
3. 然后，特征金字塔被传递到一个残差网络与尺度上的卷积。提出的尺度卷积学习 动态激活和聚合每个剩余构件中不同尺度的输入特征，以利用多个尺度上的上下文信息。

尺度卷积算子

尺度上的卷积算子，它从一个多尺度的特征金字塔沿尺度维度对特征进行卷积的算子。

左: 不同尺度下特征的尺度卷积投影图。
右: 尺度上的卷积是由fi变换的相邻尺度上的特征之和。

gi：一种用来变换特征的空间卷积
xs+i和hi：一种调整高度和宽度特征到目标比例s的操作。
尺度上的卷积就像一个滑动窗口，沿着尺度维度执行相同的变换。这种卷积操作旨在以一种紧凑的方式从多尺度的特征中提取信息，并且能够比单纯的多尺度或单尺度网络更好地捕获尺度不变性，这将在我们的实验中得到证明。

p：跨尺度共享核的空间卷积，
qi：针对特定尺度的特征变换的点卷积
实现不同尺度下的特征有多种候选操作，包括
(1)用stride进行卷积和反褶积，
(2)平均池和最近邻向上伸缩，
(3)上下伸缩都采用双线性重伸缩。
相比之下，双线性重标方法更加灵活，因为它可以应用于任意比例。

用于图像恢复的尺度卷积网络。首先将输入图像转换为特征金字塔，然后在图像内部进行多个尺度卷积的残块处理，最后将特征金字塔转换为目标尺度，并与全局跳过的特征融合。

消融研究通常指的是去除模型或算法的一些“特性”，并观察它们如何影响性能。
在相同参数数量的情况下，共享版本具有更好的性能。