【基于跳跃连接的红外图像超分辨率重建】

Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections

（基于跳跃连接卷积神经网络的红外图像超分辨率重建）

图像超分辨率技术成功地克服了红外探测器像素尺寸过大的限制，满足了人们对高分辨率红外图像信息日益增长的需求。本文提出了一种基于跳跃连接卷积神经网络的红外图像超分辨率重建方法。全局残差学习和局部残差学习的引入降低了计算复杂度，加快了网络收敛速度。多个卷积层和反卷积层分别实现红外图像特征的提取和恢复。网络中引入跳连接和通道融合，增加了特征图的数量，提升了反卷积层的层次，恢复了图像细节。

介绍

略

相关工作

由于高质量HR图像具有丰富且有价值的细节，因此其已广泛用于医学成像、卫星成像和安全成像。得益于高效硬件能力的发展和复杂算法的进步，深度学习在计算机视觉、自然语言处理等诸多领域展现出明显优势。单影像超分辨率网络以其高效性得到了社会的广泛关注。
SRCNN首次将CNN引入超分辨率重建领域。该方法是目前典型的基于神经网络的超分辨率重建方法。快速超分辨率卷积神经网络（FSRCNN）是对以前的SRCNN的改进。FSRCNN直接将原始LR图像输入到网络中，不需要进行预采样。此外，它使用了更小的卷积核和更多的贴图层。因此，FSRCNN比SRCNN具有更高的速度。
由于输入的LR图像与输出的HR图像在很大程度上是相似的，因此实际上，该网络只需要学习HR图像与LR图像之间的残差。VDSR是最直接、最明显的学习残差结构。VDSR将插值的LR图像和原始HR图像发送到网络中进行端到端训练。通过将从网络学习的残差图像与输入图像相加来获得网络的输出HR图像。VDSR通过引入跳跃连接来加深网络结构，使得更深的网络模型具有更大的感受野。同时，跳跃连接也缓解了深度网络带来的梯度消失问题。
残差编码器-解码器网络（RED-Net）由对称卷积-去卷积层组成。作为一个编解码框架，它学习LR图像到原始HR图像的非线性映射。该网络结构利用卷积层获取图像特征，利用去卷积层恢复图像细节。为了解决梯度消失问题，引入了跳连接。同时，跳跃连接将卷积层的细节传递到反卷积层，可以恢复出更高清晰度的图像。
在成功使用上述神经网络的基础上，将字典学习、小波分析等传统方法与深度学习超分辨率相结合。利用它们各自的优点，得到更精确的高分辨率图像重建方法。但这两种方法在图像预处理中计算复杂度高，且图像的复原依赖于输入和输出图像之间预先定义的关系。
此外，由于红外成像的分辨率较低，大规模超分辨率方法存在一定的局限性。在低分辨率红外图像和高分辨率红外图像中建立中间尺度，其连接两个简单的深度网络。利用多尺度损失函数训练两个感受野不同的深度网络。该方法降低了网络的复杂度，提高了高分辨率重建的精度，是大规模图像超分辨率重建与恢复的典型案例。此外，由于红外数据细节信息的缺乏，一些学者利用可见光图像在弱光下的高频信息对高分辨率红外图像进行恢复和重建，以提高图像重建效果。然而，这两种方法都是基于可见光图像可以提供相应的高频信息的事实。不幸的是，在夜视的情况下，可见光图像不能提供相关信息，限制了这些方法的应用。相比之下，提出了一种基于循环注意网络的无监督深度生成器成像模型。网络最大的不同在于无监督成像模型，不需要提供地面真实图像进行训练，最终恢复出符合人类视觉特性的重建图像。但是GAN网络模型比监督学习网络模型更复杂，训练难度更大。Nash均衡很难达到，这也是一个需要解决的问题。
受此启发，在前人研究的基础上，提出了一种基于跳跃连接卷积神经网络的红外图像超分辨率重建方法，该网络包含多个卷积层和多个反卷积层。卷积层的作用是提取图像中的细节特征，而反卷积层的功能是恢复图像细节。网络结构中的卷积层和去卷积层通过跳跃连接来连接。因此，跳跃连接将卷积层信息传送到去卷积层。跳跃连接也解决了梯度消失的问题。与RED-Net结构相比，该网络在网络结构中引入了剩余块，降低了网络的计算复杂度，加快了网络收敛速度。我们改变了跳跃连接模式，并通过增加特征图的数量来增加图像信息。该方法显著提高了反卷积恢复HR图像的能力，使网络在红外图像超分辨率中更加有效。实验结果表明，当尺度为3和4时，本文算法的平均峰值信噪比分别比VDSR算法提高了1.07dB和1.31dB。

方法

作者提出的网络图见图1。网络结构包括卷积层和反卷积层。在每个卷积层和反卷积层之后添加校正线性单元（ReLU）层。为了缓解网络过拟合的问题，在每个卷积层和反卷积层之后添加采样阈值为0.3的丢弃层。网络结构中的层数如表1所示。

Network structure

网络中有四种类型的层：卷积、去卷积、逐元素相加和信道融合。除了通道融合之外，每一层之后都是ReLU层。设𝑋_𝑖为第i层的输入图像，卷积和去卷积层被表示为：

其中𝑊_𝑘和𝐵_𝑘表示滤波器和偏差，* 表示卷积或反卷积运算，以便于公式化。对于逐元素加法层，输出是相同大小的两个输入的逐元素加法，然后是ReLU激活：
其中，𝑋_𝑖和𝑋_𝑗分别表示第（i+1）层和第（j+1）层的输入图像。对于通道融合层，输出是相同大小的两个输入通道之和：
为了表达方便，我们用𝐹_𝑐和𝐹_𝑑来表示卷积和反卷积运算，暂时省略每层后面的激活函数ReLU。所提议的网络有26层。根据上式，我们可以将网络结构的输出表示为：
其中𝑋₀是网络的输入红外图像。具体地，可以如下递归地计算结果：
上述公式仅迭代到𝑋₁₅，以便于显示所提出的网络结构中的差异。如果在网络结构中没有剩余块，则𝑋₁₅ =$F^{15}$_𝑐（𝑋₀）。与没有剩余块的网络相比，我们的网络底部包含了更多的细节，可以防止梯度消失。如果没有通道融合，则𝑂𝑈𝑇可以表示为：
与我们的网络相比，许多图像细节丢失，这将降低反卷积恢复HR图像的能力。通过融合不同层的图像信息，可以提高反卷积层恢复HR图像的能力。
具体地，LR红外图像被精确地上采样到目标图像尺寸，然后被发送到卷积神经网络用于端到端监督学习。将网络中的卷积层作为特征提取器，从红外图像中提取特征。步长为2的卷积用于减小特征图像的维数。反卷积层可以对特征地图进行上采样并恢复细节信息。该结构中的跳跃连接连接网络的第一半和第二半，使得图像信息可以从网络的前端传输到后端。跳跃连接也可解决梯度消失的问题。该网络将全局残差学习和局部残差学习相结合，降低了计算复杂度，加快了网络的收敛速度。全局残差学习是指网络只需要学习HR图像和LR图像之间的残差部分，因此可以大大降低网络的复杂度。通过将网络的输出图像与输入LR双三次插值图像相加来获得目标HR图像。

Convolution and deconvolution

提出的网络结构包含大量的卷积层和去卷积层。卷积层的功能是从图像中提取特征。在以前的工作中，AlexNet使用了一些大的卷积核，如11 ×11。大卷积核具有感受野大的优点，可以提取输入图像大邻域的信息。但卷积核较大，导致网络计算量剧增。考虑到网络结构的深化和计算性能的提高，网络选择了3 ×3卷积核。我们将卷积层的步长设置为1，填充设置为SAME，以保持图像大小在特征提取部分不变。此外，该网络包含图像降维过程。这些过程不使用最大池操作进行未来的地图降维的原因是最大池操作将消除图像细节。最大合并会降低图像恢复与重建的性能，这与超分辨率的目的背道而驰。因此，使用步长为2的卷积运算来降低图像的维度可以以最大的概率保留特征图的空间信息。
实验一通过实验验证了特征图降维方法对网络超分辨能力的影响。在验证实验中，采用双三次插值方法对LR图像进行3倍上采样作为输入图像，然后保持除降维方法外的网络结构参数一致。在训练过程中，PSNR的变化如图2（a）所示。
试验结果见图3。在网络结构上，卷积降维方法明显优于最大池法。因此，卷积可以用来降低特征图的维数，这有助于获得更高分辨率的结果。

卷积层和反卷积层分别位于网络结构的前端和后端，并且它们是对称的。卷积降低了特征图的维数，然后去卷积可以将特征图上采样到相应的大小。图像尺寸的变化可以提取多个维度的图像特征。此外，卷积层的信息通过跳跃连接传递到反卷积层，大大增强了反卷积层的HR图像重建能力。

Skip connections

只有增加深度或宽度，网络模型才能适用于更复杂的映射功能。不幸的是，增加宽度的成本通常高于增加深度的成本。因此，深化网络结构在大多数情况下是更好的方式。更深层次的网络结构模型意味着更好的非线性表达能力，可以学习更复杂的特征变换和拟合更复杂的映射函数。在此基础上，设计了一种具有跳跃连接结构的深度残差网络，以更好地学习插值后的LR图像与地面真实图像之间的高频细节信息。
然而，网络结构越深，超分辨率性能并不会越好。可能有两个原因。由于卷积过程使得图像特征越来越抽象，在卷积层数较多的网络中，会丢失大量的图像细节。只有少量图像细节的HR图像很难恢复和重建。此外，在深层网络结构中经常遇到梯度消失问题。为了解决上述问题，跳跃连接被添加到网络结构，其将网络的前半部分的卷积层与网络的后半部分的去卷积层连接。具体结构如图1所示
跳跃连接将卷积层的大量图像细节传递到反卷积层，提升了反卷积层的图像超分辨率重建能力。其次，跳跃连接还具有梯度反向传播到底层的优点，这解决了梯度消失的问题。因此，训练更深层次的网络变得更加容易。
与使用极深残差信道注意力网络（RCAN）的图像超分辨率相比，局部残差和全局残差模块仅建立在相同尺度的网络结构上。全局残差是在多个局部残差模型中寻找最小误差，逐步逼近地面真实值。不同之处在于，我们的网络结构类似于金字塔成像模型。在网络的底层加入局部残差模块，使得在高分辨率图像复原的起始点得到高分辨率红外图像的初始值。采用逐步上采样和跳跃连接模型对不同尺度的高分辨率图像进行恢复。此外，局部残差模型可以减少网络底层的网络参数，使运行效率更高。此外,我们添加全球剩余模块顶部的网络和添加提取的高频信息,同时保留更多的图像的低频信息本身,从而恢复目标的高分辨率图像在最大的程度上。全球剩余学习结构和学习当地的残余结构如图6所示。

相反，仅利用同一维度上的残差结构增加了计算复杂度，缺乏不同维度上高频细节的提取，导致重建质量下降。因此，本文将全局残差学习和局部残差学习进一步结合，以提高网络模型超分辨率的整体性能。
Test2和Test3的实验结果验证了引入残差块和变化特征融合的方法对提高超分辨能力的有效性。引入控制变量法，保证验证对象以外的条件保持不变。图2（b）、（c）为训练过程中的峰值信噪比曲线，图4（a）、（b）为实验测试结果。实验结果表明，本文提出的网络结构更适合红外图像超分辨率。