论文阅读：左超大佬组的论文Multimodal super-resolution reconstruction of infrared and visible images via deep lear

论文：通过深度学习对红外线和可见光图像进行多模态超分辨率重建

摘要：

本文提出了一种基于解码器结构的基于深度学习的红外可见图像融合方法。图像融合任务被重新定义为一个维持红外-可见光图像的结构和强度比的问题。设计了相应的损失函数来扩大热目标与背景之间的权重差。此外，还引入了一种基于回归网络的单图像超分辨率重建方法，解决了传统的网络映射函数不适合用于自然场景的问题。考虑了正向生成和反向回归模型来减少不相关的函数映射空间，并通过双映射约束接近理想的场景数据。与其他最先进的方法相比，我们的实验结果在视觉效果和客观评估方面都取得了优越的性能。此外，它还可以稳定地提供与人类视觉观察相一致的高分辨率重建结果，同时弥合了红外-可见光图像之间的分辨率差距。

介绍

==图像融合技术[1–3]的目标是从多个源图像中生成具有特定算法的信息性图像。由于具有重组不同信息的能力，红外和可见光图像融合技术在检测成像系统中发挥着关键作用。==因此，融合的结果对场景有了更加清晰和完整的描述，有利于人类的感知和机器加工。该融合图像可以合成出具有源图像互补信息的新图像。最大限度地整合利益信息是揭示生物医学[4]、森林消防[5]和安全驾驶中的新见解和基本科学问题的一个基本瓶颈。例如，采用多重曝光融合(MEF)方法实现高动态范围生成(HDR)图像[6-8]。HDR成像方法可以提供更丰富的图像细节，使重建的图像更加清晰，便于人类的视觉观察。基于此方法，红外和可见光融合算法[9–11]可以整合每个信息的优点。一般来说，红外图像缺乏纹理信息，不能有效地描述场景。尽管如此，它还是凭借其固有的热辐射特性和在长波红外线中实现云穿透成像的能力得到了广泛的应用绷带可见图像具有高空间分辨率的纹理细节，有利于提高目标识别能力，符合人类视觉系统。然而，可见光图像也有一个致命的缺点：在低照度条件下，不可能获得高质量的图像。因此，可见光-红外成像是相互依赖和共同促进的。
虽然图像融合技术有了显著的改进，但由于软件算法和硬件技术的限制，长波红外探测器的像素尺寸已经接近物理极限(17μm)。同时，随着成像分辨率的提高，该设备的制造成本也将大幅增加。因此，目前的双波段图像融合技术还不足以稳定地实现全天候的高分辨率成像。此时，传统的超分辨率(SR)模型和算法不再适用，它们的计算复杂度给应用增加了大量计算的压力。==近年来，深度学习(DL)[12,13]因其突出的特征提取、表示能力、较强的鲁棒性和高效的重建性能而成为图像融合领域的一种强大的技术。==从深度思维公司开发的人工智能机器人到波士顿强大的机械狗，一个接一个的消息传来。人工智能[14–17]产生了一个熟悉的词我们这是智能机器逐渐取代人工操作的一个显著表现。这一趋势是由对多维传感器和人工智能计算技术的需求不断增长推动的。在过去的几十年里，深度学习技术已经成为海量数据时代的一个研究热点。学术界和工业界都对这项技术表现出了强烈的兴趣，特别是对计算机视觉[18,19]。作为近年来出现的一种“数据驱动”技术，它在图像分类[20]、目标检测[21,22]和识别[23,24]等许多应用领域都取得了卓越的成就。如图1所示，克服空间采样不足导致的像素化成像问题也是多图像超分辨率融合(多sr-Fusion)技术的新颖性。
本文的其余结构如下。在第2节中，我们简要回顾了关于深度学习框架的相关工作。第3节描述了我们所提出的方法的基本原理。第4节介绍了红外和可见图像融合的多sr融合网络的细节。第5节说明了大量的实验结果和分析结果。最后，第6节对本文进行了讨论和总结。

方法

对于人类的视觉系统来说，包含基本目标的“显著性区域”更有吸引力。==基于以上分析，红外-可见图像融合的问题是如何保持高频细节信息和热辐射信息，从而实现多维数据融合过程。该方法的主要任务是提高红外图像的分辨率，然后在获得高质量的图像分辨率的同时，对异源图像进行加权融合。==因此，有效地提取每幅图像的特征信息并分配融合权重是我们研究的重点。基于U-net语义分割和样式传递[42]的概念，可以对红外图像的热辐射信息进行有效的分割，然后通过样式传递结构对热图像和可见纹理信息进行传输，在我们的工作流程中，采用了编译码融合结构进行端到端学习，如图2所示，这样网络不仅可以以“显著性区”信息为中心，还可以学习图像的SR映射函数。将图像合并问题转化为保持红外和可见光图像的结构和强度比的问题。设计了相应的损失函数来扩大热目标和背景之间的权重区别。针对传统网络映射函数在实际场景中不适定的不足，增加了逆回归约束，减少了可能映射函数的空间。最后，通过扩大通道数，实现了基于场景的伪彩色SR重建。通过这样做，重建的图像更符合人类的视觉效果。
==注意，我们的方法以红外图像和可见图像作为输入图像，通过端端监督网络获得彩色融合图像。==利用不同维核对红外和可见光图像进行多尺度特征提取。随后，通过生成红外和可见光的融合图像融合层。该融合结构包含多尺度特征提取和残差通道注意块(RCAB)，可以实现有价值的特征映射，抑制不重要的特征映射。编码-解码SR结构分别实现了特征提取和重构的功能。同时，跳过连接结构的引入可以将图像特征信息从编码部分转移到网络的解码部分，解决了梯度消失的问题。

网络结构

多尺度特征提取（编码）模块

==如何提取输入图像的特征是SR重建的一个重要组成部分。==假设可以得到不同的维度信息。==在这种情况下，它将有助于信号的恢复。另一方面，图像特征信息通常由卷积核提取。==因此，用大卷积提取图像以获得更广泛的接受域的想法已经蓬勃发展。一个更大的接受域将有助于特征信息的接收。但是，如果卷积核数太大，计算量就会急剧增加，这不利于模型深度的提高。因此，我们可以将大尺度卷积分解为几个小尺度卷积，从而减少计算量。虽然多尺度卷积块可以提取出足够的特征，但有选择地关注基本元素而忽略不那么重要的元素也是至关重要的。这意味着并非所有的特征都有利于重建。中间特征包含有价值的信息，如初级结构和细节，甚至是不相关的信息，如噪声。因此，我们采用不同内核大小的多尺度层，如3×3和5×5，来获取不同接受域的低频和高频特征。通过这样做，可以获取不同尺度上的综合图像信息，并相互重用。特征融合卷积层实际上降低了计算复杂度，提高了网络的收敛速度。因此，引入多尺度提取模块可以获得更高层次的鲁棒语义特征，保留更多的底层细节，丰富图像特征信息。

基于编码-解码结构的异构图像的超分辨率融合网络结构

超分辨率（解码）模块

SR网络采用了一种编码器-解码器的体系结构。在解码层中，采用像素洗牌方法放大编码层中卷积层对应的特征图的大小，通过跳过连接传输不同维度的维度信息。跳跃连接不仅可以传递图像特征信息，而且可以缓解梯度消失的问题。引入残差通道注意模块来调整通道特征信息，有利于HR图像的重构。全局平均池化层将所有空间特征编码为一个通道上的一个整体特征。在接收到全局特征后，通过全连接层学习各信道之间的非线性关系。整个操作可以看作是学习每个信道的权值系数，使模型对每个信道的特征更有鉴别性。
目前，主流的网络架构模型正在朝着更深层次的方向发展。更深层次的网络模型意味着它具有更好的非线性表达能力。因此，它可以学习更复杂的转换，并适应更复杂的特征输入。然而，一个常见的伴随问题是，由中间层提取的信息没有被深思熟虑地使用。因此，残差结构中的跳跃连接对于增强梯度传播和缓解网络加深引起的梯度消失问题是值得的。此外，现有的方法只关注从LR图像到HR图像的映射。然而，在训练过程中，未充分确定的可能的映射空间是不稳定的和具有挑战性的。为了改善这一问题，我们提出了一个在SR结构中的双回归项目，如图3©.所示通过双约束的限制，可以提高网络模型的鲁棒性及其对自然场景的适用性。