【图像超分辨率】End-to-End Super-Resolution for Remote-Sensing Images Using an Improved Multi-Scale Residual

提出了一种新的金字塔型多尺度残差网络（PMSRN），利用分层残差样连接和扩张卷积形成多尺度扩张残差块（MSDRB）。MSDRB增强了检测上下文信息的能力，并通过分层特征融合结构融合分层特征。为了更有效地整合不同尺度的图像特征，在MSDRBs中引入分层残差类连接（即Res2Net[18]），实现更细化的多尺度特征表示。为了尽可能地解决网络特征遗忘和利用不足的问题，将每个MSDRB层的输出作为分层特征融合结构（HFFS）的输入。最后，在重建结构中加入全局和局部特征的互补块，以缓解有用的原始信息被忽略的问题。

本研究的贡献如下。

• 提出了一种新的MSDRB。该模块以更细的粒度表达多尺度特征，增加了各网络层的接受场，增强了自适应检测图像特征的能力。
• 为了融合浅层和深层特征，提出了一种新的重建CB。该模块可以充分利用原LR图像中的有用信息，防止网络不稳定，提高网络鲁棒性和图像重建效果。
• 由于所提出的PMSRN的参数数仅为EDSR的43.33%，且该模块具有独立性，容易迁移到其他网络中进行学习，因此比其他网络更容易训练。

图1.金字塔多尺度残差网络（PMSRN）模型架构。金字塔型多尺度残差网络（PMSRN）模型架构。网络模型包括两个部分：特征提取和重建。特征提取由分层特征融合结构（HFFS）和8个多尺度扩展残差块（MSDRB）进行，重建主要涉及互补块（CB）。

在训练过程中，

• 首先，利用RGB颜色模型对公共图像中包含的所有波段进行转换，得到HR图像。
• 第二，将HR通过Bicubic下采样操作得到的LR作为PMSRN的输入。
• 第三，PMSRN使用多个MSDRB来学习LR和HR之间的特征映射关系。
• 此外，随后通过HFFS对全局和局部特征信息进行组合。
• 最后，CB对SR图像进行重建。

该方法与原来的MSRN主要有两个方面的不同。
在特征提取部分，MSDRB取代了多尺度残差模块。
在重建部分，增加了CB模块。

图2.MSDRB结构，四层分为三个分支。MSDRB结构，四层分为三个分支。分支1包含分层残差类连接(即Res2Net)残差块、激活函数(即整流线性单元，ReLU)和并联操作。分支2和3分别包含扩张率d为2和3的扩张卷积；ReLU；以及并联操作。分支S3、P3、Q3的输出经过协整和1×1卷积后输出为S′。最后，S′用Bn-1进行特征加法。

为了使网络具有更强的多尺度特征提取能力，在PMSRN中设计了一个MSDRB（图2）。MSDRB由多尺度融合、多级残差学习和多扩张率扩张卷积组三部分组成。

多尺度特征融合：图像的多尺度性质类似于人眼观察物体。当与物体的距离不同时，感知到的特征是不同的；也就是说，视野中的同一物体，图像的大小和尺度是不同的，所以特征也是不同的[19]。

在第一层网络结构中，输入Bn-1经过支路1的Res2Net残块，被激活函数整流线性单元(ReLU，用σ表示)激活，输出S1；输入Bn-1经过支路2的扩张卷积(扩张率d=2)，被ReLU激活函数激活，输出P1；输入Bn-1经过支路3的扩张卷积(扩张率d=3)，被ReLU激活函数激活，输出Q1。结构输出S1、P1、Q1可表示如下。

在二层网络结构中，输入端S1、P1、Q1通过并联操作输出[S1，P1，Q1]。[S1，P1，Q1]经过支路1的Res2Net残块，被ReLU激活函数激活，输出S2。然后，[S1，P1，Q1]经过分支2的扩张卷积(扩张率d＝2)，被激活函数ReLU激活，输出P2。此外，[S1，P1，Q1]经过分支3的扩张卷积(扩张率d＝3)，被激活函数ReLU激活，输出Q2。第二层网络结构的输出S2、P2、Q2可表示如下。

在第三层网络结构中，分支1的输入S2和P2通过连通操作后输出[S2，P2]，由ReLU激活函数激活，输出S3。分支2的输入S2和Q2通过并联操作后输出[S2，Q2]，由ReLU激活函数激活，输出P3。并联操作后分支3的输入Q2和P2输出[Q2，P2]，由ReLU激活函数激活，输出Q3。第三层的网络结构输出S3、P3和Q3可表示为：。

在第四层网络结构中，输入端S3、P3、Q3进行并联运算，输出端为[S3，P3，Q3]，经1×1标准卷积核滤波后输出S′。第四层的输出S′可表示为：。

在(3)-(12)中，w和b分别代表权重和偏置；上标代表层数；下标1×1和3×3代表卷积核的大小；下标Res2Net代表卷积类型为分层残差样连接；下标d代表扩张率为d的卷积。
假设MSDRB输入Bn-1的通道数为n_feats；那么，内部第一层、第二层和第三层的输出通道数分别为n_feats、3×n_feats和6×n_feats。在第四层，基于特征图连通的输出通道数为18×n_feats，用1×1卷积核再次将特征图通道数减少到n_feats。

多级残差学习：在单个MSDRB内部，Res2Net表示多尺度的特征，层次更加细化，增加了每个网络层的接受场范围。具体来说，该模块用卷积核组代替了单个3×3卷积核。同时，不同的卷积核可以以层次残差的形式连接起来（图3b）。

图3.ResNet和Res2Net结构比较。ResNet和Res2Net结构的比较。在Res2Net内部，单个3×3卷积核被卷积核组所取代。(a) ResNet模块和(b) Res2Net模块。
Res2Net的内部操作的定义如下：

输入的图像特征经1×1标准卷积运算过滤后，复制成四条特征信息，即X1、X2、X3、X4。在Res2Net中，得到不同接受场的输出。例如，Y2、Y3和Y4分别得到标准卷积3×3、5×5和7×7的接受场。最后，将4个输出进行融合，经过1×1的卷积运算后，输出通道数减少到输入通道数。这种拆分和融合的策略使得卷积能够更高效地处理特征。需要注意的是，MSRN比ResNet、密集残差网络[20]和inception[21]具有更强的特征提取能力[15]。
在MSDRB外，加上S′和Bn-1的相应元素，输出Bn，其表示为：。

多扩张率扩张卷积组：虽然该组提高了接受场，减少了计算量，但分辨率损失最小。扩张卷积用于设置不同的d扩张率d以获得不同的接受场。在卷积核中加入d - 1个零，不会增加计算量。图4显示了不同d值下的扩张卷积核。

图4.扩张卷积的示意图。扩张卷积的示意图。红色像素代表非零权值，白色像素代表零权值，红色像素组成的矩阵为接受场的大小。(a) d=1，扩张卷积，接受场大小为3×3，与标准卷积相同；(b) d=2，扩张卷积，接受场大小为5×5；© d=3，扩张卷积，接受场大小为7×7。
如果计算量不变，不同的扩张率d将使标准卷积k×k具有不同的接受场R，扩张卷积的接受场[22]可计算如下。

根据(18)计算可知，当d=1、2、3时，扩张卷积(图4a-c)相当于标准卷积的3×3、5×5、7×7接受场，分别用于图2中的分支1、2、3。
以这种方式构建的不同分支具有不同的接受场。结合上述多尺度特征融合和多层次残差学习，PMSRN可以小幅度增加计算量，增强检测图像特征信息的能力。