STDFusionNet

1.摘要

本文提出了一种基于显著目标检测的红外和可见光图像融合网络，称为STDFusionNet。该网络旨在保留红外图像中的热目标和可见光图像中的纹理结构，并使用显著目标掩模来注释人类或机器更加关注的红外图像区域，以提供不同信息集成的空间指导。我们将这个显著目标掩模与一个特定的损失函数相结合，以指导特征的提取和重构。具体来说，我们使用这个掩模来选择性地从红外图像中提取显著目标特征，并从可见光图像中提取背景纹理特征。然后，我们使用损失函数来有效地融合这些特征并重构所需的结果。需要注意的是，这个显著目标掩模仅在训练阶段需要使用，这使得我们提出的STDFusionNet成为一个端到端模型。也就是说，我们的STDFusionNet可以在隐式方式下完成显著目标检测和关键信息融合。

2.引言

在过去的几十年中，已经提出了许多传统的红外和可见光图像融合算法，虽然上述算法在大多数情况下都取得了比较满意的融合性能，但仍存在一些缺点：

• 现有的传统方法通常使用相同的变换或表示来从源图像中提取特征，而不考虑红外和可见光图像的固有属性;

• 大多数方法中的活动水平的测量和融合规则的设计是手动的，并且趋于变得更加复杂。

近年来，随着深度学习技术的不断成熟，研究人员提出了多种深度融合算法。通常，主要的深度融合方法可以分为两类，即，基于卷积神经网络（CNN）的方法和基于生成对抗网络（GAN）的方法。

基于CNN的融合方法通常依靠神经网络强大的拟合能力，在精心设计的损失函数指导下实现有效信息的提取和重构。基于GAN的融合方法在融合图像和源图像之间建立对抗游戏，以便在没有监督的情况下使融合图像近似于期望的概率分布。尽管现有的基于深度学习的方法相比传统方法已经取得了相对较好的融合性能，但仍然存在一个不容忽视的挑战。

有一些端到端的模型可以通过对融合图像和各个源图像之间的像素、结构和梯度差异进行加权来缓解图像融合中的困难。这些模型可以自动地从源图像中提取有用的信息，并将它们融合成一个最终的结果。然而，在这些方法中，由于缺乏真实的融合结果作为参考，很难定义所需信息并指导网络训练。这些方法在构造损失函数时对不同源图像的不同区域没有区别对待，在融合过程中引入了大量的冗余甚至无效信息。结果，融合图像中的有用信息不可避免地被削弱。

为了解决上述挑战，我们提出了一种基于显著目标检测的红外和可见光图像融合新框架，即STDFusionNet。该框架旨在通过检测红外图像中的显著目标（如行人、车辆和障碍物）以及利用可见光图像中丰富的背景纹理来实现更加准确和全面的信息融合。

我们将红外图像中的显著热目标和可见光图像中的背景纹理结构定义为图像融合过程中最有意义的信息。因此，我们的网络可以有选择地提取和重建上述定义的有效特征。此外，由于多模态源图像之间存在显著差异，我们采用伪孪生网络从源图像中提取不同类型的信息，并进行区分，例如显著目标。（显著目标掩模是一种二进制图像，用于突出显示红外图像中的显著目标（如行人、车辆和障碍物））

本文的主要贡献包括以下三个方面：

• 提出了一种新的多模态图像融合方法STDFusionNet，该方法可以同时突出显示显著目标并保留丰富的纹理信息。
• 引入了一种特定的损失函数，通过注释红外图像中的显著目标来获取显著目标掩模，以指导融合模型学习。
• 采用伪孪生网络从源图像中提取不同类型的信息，并进行区分，例如显著目标。

2.相关工作

A. Traditional Fusion Methods

显著目标更容易被人类视觉感知，因此可以将显著性应用于图像融合中。基于显著性的方法可以分为两种主要方式：权重计算和显著目标提取。前者通常与多尺度变换相结合，其中源图像通过多尺度变换分解为基础层和细节层。然后，使用显著性检测从基础层或细节层获取显著性图，并从显著性图中获取基础层或细节层的权重图。后者使用显著性检测从红外和可见光图像中提取有关重要区域的信息，然后将关键信息集成到最终的融合图像中。因此，“基于显著性的方法”指的是利用图像中物体或像素的视觉显着性来进行图像处理或分析的方法。

多尺度变换方法认为物体通常由不同尺度的组成部分构成，并且多尺度变换与人类视觉系统一致。因此，通过多尺度变换获得的融合图像可以具有良好的视觉效果。通常，基于多尺度分解的红外和可见光图像融合方案包括三个步骤。首先，将所有源图像分解为一系列多尺度表示。随后，根据特定的融合规则融合原始图像的多尺度表示。最后，在融合后的多尺度表示上执行相应的逆变换以获取融合图像。因此，“基于多尺度变换的方法”指利用不同尺度下物体或像素信息进行分析和处理，并通过对这些信息进行融合来生成最终图像的方法。

在基于稀疏表示的方法中，过完备字典是一组基向量，这些向量可以用来表示信号或图像的稀疏线性组合。这些基向量通常是从大量高质量图像中学习得到的，并且可以用来表示源图像的稀疏表示系数。在融合过程中，源图像的稀疏表示系数将根据给定的融合规则进行融合，然后使用所学的过完备字典从融合后的稀疏表示系数中重构出融合图像。

优化方法通过最小化目标函数，来生成所需的融合结果。因此，这种方法的关键在于设计目标函数。目标函数的构建应考虑两个方面，即整体强度保真度和纹理结构保持。前者约束融合结果具有所需的亮度分布，而后者驱动融合结果包含丰富的纹理细节。上述红外和可见光图像融合方法都有其优点和缺点，并且混合模型结合它们的优点以提高融合性能。因此，“基于优化的方法”指利用数学优化技术来最小化一个目标函数以生成最终图像的方法。

B. Deep Learning-Based Fusion Methods

深度学习依靠神经网络的优秀特征提取能力，在图像融合方面取得了巨大进展。早期的深度学习融合方法只采用神经网络来构建权重图或提取特征。Liu等人使用预训练的CNN来实现源图像的活动水平测量，并生成一个权重图，整个融合过程基于金字塔结构。因此，深度学习技术已经被应用于图像融合领域，并且已经取得了显著的进展

基于自编码器的深度方法已经被提出。这些方法通常预训练一个自编码器来实现特征提取和图像恢复，而特征融合则由传统规则完成。Li和Wu将密集块引入编码器和解码器中，设计了一种新的图像融合网络，称为DenseFuse。在融合层中，DenseFuse使用传统的加法和L1范数策略实现。考虑到没有下采样的网络无法从源图像中提取多尺度特征，因此在NestFuse中引入了基于嵌套连接的网络来从源图像中提取信息，并以多尺度视角进行处理。

由于GAN的无监督分布估计能力非常适合图像融合任务，因此提出了越来越多基于GAN的融合方法。Ma等人首次建立了一个对抗游戏，将融合结果和可见图像之间进行对抗以增强纹理结构的保留。然而，这种单一的对抗机制很容易导致不平衡的融合。为了改善这个问题，他们后来提出了双鉴别器条件生成对抗网络(DDcGAN)来实现图像融合，在其中红外图像和可见图像都参与了对抗游戏。值得注意的是，具有双重鉴别器的GAN不容易训练。

由于神经网络具有强大的特征表示能力，各种信息可以以统一的方式表示。越来越多的研究人员致力于探索通用的图像融合框架。Zhang等人利用两个卷积层从源图像中提取显著特征。然后，根据输入图像的类型选择适当的融合规则来融合源图像特征，并通过两个卷积层从卷积特征中恢复融合图像。他们提出的框架只需要在一种类型的图像融合数据集上进行训练，并根据源图像类型调整融合规则，从而实现了一个统一的网络来解决各种融合任务。在构造损失函数时，通过调整损失项的权值来适应不同的融合任务。考虑到不同融合任务之间的交叉融合，针对不同融合任务在统一模型上依次训练U2Fusion，得到了多融合任务的统一模型。

与上述方法相比，STDFusionNet的两个主要技术贡献是：首先，在图像融合过程中，将所需信息定义为红外图像中的显著目标和可见图像中的纹理信息。定义的所需信息可以为参数学习提供更明确的优化方向。其次，我们设计了一个特殊的损失函数，并结合显著目标掩码来指导网络实现显著目标检测和信息融合。这使得STDFusionNet生成的融合图像能够在源图像中保留尽可能多的重要信息，并减少冗余信息的影响。

3. 方法

A. Problem Formulation

图像融合的目标是从多个源图像中提取重要信息并融合互补信息以生成合成图像。这个问题的关键在于如何定义最有意义的信息以及如何融合互补信息。在红外和可见光图像融合中，最关键的信息是红外图像中的显著目标和可见光图像中的纹理结构。因此，我们明确将所需信息定义为红外图像中显著目标信息和可见光图像中背景纹理结构信息。因此，基于这个定义，有两个关键点需要注意来进行图像融合。

图像融合的两个关键点。第一个关键点是确定红外图像中的显著目标，通常情况下，红外图像中的重要信息主要呈现在包含可以发射更多热量的物体（例如行人、车辆和掩体）的区域中。因此，网络应该学会自动从红外图像中检测这些区域。第二个关键点是从检测到的区域准确提取所需信息并执行有效的融合和重构。换句话说，融合结果应该准确地包含红外图像中的显著目标和可见光图像中的背景纹理。为了解决这两个关键问题，需要设计特定的损失函数和有效的网络结构。

首先，作者提出了一种特定的损失函数来约束融合过程。其中，显著目标掩模被引入以指导网络检测显著区域，同时通过确保特定区域内的强度和梯度一致性来实现热目标和背景纹理的保留。其次，作者设计了一种有效的网络结构来实现特征提取、融合和重构。具体而言，特征提取网络采用伪孪生网络架构来不同地处理源图像，以便从红外图像$I_{ir}$中选择性地提取显著目标特征，并从可见光图像$I_{vi}$中提取背景纹理特征。

B. Loss Function

STDFusionNet的损失函数由两种损失组成：像素损失和梯度损失。

• 像素损失约束融合图像的像素强度与源图像一致
• 梯度损失迫使融合图像包含更详细的信息。

我们构造了显著区域和背景区域的像素损失和梯度损失，结合显著目标掩码$I_m$，可将期望结果$I_d$定义为:$$I_d=I_m◦I_{ir}+(1-I_m)◦I_{vi}$$ 其中，运算符◦表示逐元素乘法。

显著目标掩模的目的是突出对象（例如，行人、车辆和掩体），其在红外图像中辐射大量热量。使用LabelMe工具箱来注释红外图像中的显著目标，并将其转换为二进制显著目标掩模。然后，他们将显著目标掩模反转以获取背景掩模。接下来，他们将显著目标掩模和红外图像以及背景掩模和可见光图像相乘，以获取源显著目标区域和源背景纹理区域。此外，他们还将融合图像与显著目标掩模和背景掩模相乘，以接收融合显著目标区域和融合背景区域。最后，他们将原始显著区域、原始背景区域、融合显著区域和融合背景区域应用于构建特定的损失函数，以指导网络实现显著目标检测和信息融合。因此，显著目标掩模在损失函数中起到了重要的作用，指导网络学习如何检测红外图像中的显著目标。

类似地，STDFusionNet生成的融合图像可以被分割成包含热红外目标的突出区域$I_m◦I_f$和具有纹理细节的背景区域$（1-I_m）◦I_f$

因此，我们分别在显著区域和背景区域中构建相应的损失，用于指导STDFusionNet的优化。一方面，我们约束融合图像具有与期望图像相同的像素强度分布。显著像素损失$L_{pixel}^{salient}$和背景像素损失$L_{pixel}^{back}$被公式化为:$$L_{pixel}^{salient}=\frac{1}{HW}||I_m◦(I_f-I_{ir})|{|}_1(2)$$ $$L_{pixel}^{back}=\frac{1}{HW}||（1-I_m）◦(I_f-I_{vi})|{|}_1(3)$$

其中H和W分别是图像的高度和宽度，并且$||\ast |{|}_1$代表$l_1$范数。另一方面，梯度损失的引入，以加强对网络的约束，以迫使融合图像与尖锐的纹理和突出的目标与尖锐的边缘。类似于像素损失的定义，梯度损失还包含显著梯度损失$L_{grad}^{salient}$和背景梯度损失$L_{grad}^{back}$，其更精确地公式化如下：$$L_{grad}^{salient}=\frac{1}{HW}||I_m◦(\nabla I_f-\nabla I_{ir})|{|}_1(4)$$ $$L_{grad}^{back}=\frac{1}{HW}||（1-I_m）◦(\nabla I_f-\nabla I_{vi})|{|}_1(5)$$

其中∇表示梯度算子，在本文中，我们使用Sobel算子来计算图像的梯度。与以往的方法不同，我们将同一区域的像素损失和梯度损失同等对待，因此最终的损失函数定义为$$L=(L_{pixel}^{back}+L_{grad}^{back})+\alpha (L_{pixel}^{salient}+L_{grad}^{salient})$$

其中α是控制不同区域中的损失平衡的超参数。由于引入了显著区域损失，即，$L_{pixel}^{salient}和L_{grad}^{salient}$，STDFusionNet能够以隐式方式检测和提取红外图像中的显著目标。

C. Network Architecture

我们的网络架构由两部分组成：特征提取网络和特征重构网络

Feature Extraction Network:

基于CNN构建特征提取网络，并引入ResBlock来增强网络提取，缓解梯度消失/爆炸的问题，如图3所示，特征提取网络由一个公共层和三个ResBlocks组成，可以加强提取的信息。

• 公共层由内核大小为5 × 5的卷积层和leaky relu组成。每个残差块包含三个卷积层，称为Conv1、Conv2和Conv3，以及跳跃连接的恒等卷积。所有卷积层的核大小都是1 × 1，除了Conv2，它的核大小是3 × 3。
• Conv1和Conv2都使用leaky relu作为激活函数，而Conv3和恒等式conv的输出被求和，并且之后是leaky relu激活函数
• 恒等卷积被设计成克服ResBlock输入和输出的不一致维度。值得注意的是，考虑到红外和可见光图像的不同属性，两种特征提取网络都采用了相同的网络架构，但各自的参数是独立训练的

Feature Reconstruction Network

• 特征重建网络由四个ResBlocks组成，它们起着特征融合和图像重建的作用；
• 值得注意的是，最后一层的激活函数使用Tanh来确保融合图像的变化范围与输入图像的变化范围一致；
• 因此，在STDFusionNet的所有卷积层中，填充设置为SAME，步幅设置为1。因此，我们的网络不引入任何下采样，并且融合图像的大小与源图像一致。

4.实验

A. Experimental Settings

数据集：TNO和RoadScene

其中TNO包括60对红外和可见光图像对，这个数据集中有三个子数据集，每个子数据集包含不同数量的图像对，分别包含19、23和32个图像对。

一组典型的源图像及其掩模图像，如图4所示：

为了弥补现有数据集的不足，发布了基于FLIR视频的RoadScene数据集。RoadScene数据集包含221对对齐的红外和可见光图像，其中包含道路、车辆和行人的丰富场景。该数据集的发布有效地缓解了基准数据集中图像对少和空间分辨率低的挑战。

在TNO数据集上训练我们的模型，用于训练的图像对数量为20。为了获得更多的训练数据，我们通过将步幅设置为24来裁剪每个图像，每个patch的大小都是128 × 128。最终，所产生的用于训练的图像块对的数目是6921。

在测试阶段，我们从TNO数据集中选择20个图像对进行比较实验，从RoadScene数据集中选择20个图像对进行泛化实验。值得注意的是，每个源图像被归一化为[-1，1]。 显著区域只占红外图像的很小一部分。为了平衡显著区域和背景区域的损失，在本工作中，α被设置为7。重要的是要注意，源图像直接馈送到融合网络中，在测试期间没有任何裁剪。

定性结果

在图5中，我们选择显著区域（即，红框），然后放大并将其放置在右下角，以便进行清晰的比较。MDLatLRR丢失了热发射目标信息，导致无法捕获显著区域的红外目标，而DenseFuse、IFCNN和U2Fusion保留了热发射目标信息，但遭受来自可见光图像的严重噪声污染。FusionGAN算法在一定程度上保留了热辐射信息，但存在红外目标边缘模糊的缺点。GTF、NestFuse、GANMcC、PMGI和STDFusionNet能够突出突出目标。特别是STDFusionNet生成的融合结果很好地保持了显著目标的对比度

我们的方法生成的融合图像中树枝的纹理最清晰，STDFusionNet是唯一一种天空不被热辐射信息污染的方法。

可以看出STDFusionNet背景区域的路灯与可见光图像几乎一致；

除了我们的方法和NestFuse之外，几乎不可能通过其他方法将灌木与其周围环境区分开。然而，NestFuse削弱了显著区域中的热辐射目标。值得注意的是，STDFusionNet可以突出显著区域的红外目标，并有效区分灌木和周围环境。

定量结果

STDFusionNet在几乎所有图像对上的VIF度量值最高，这与主观评价的结论一致，表明STDFusionNet生成的融合图像具有更好的视觉效果。最大的EN表明，我们所提出的方法产生的融合图像具有更丰富的信息比其他九个竞争对手。最大的MI表明，我们的方法传递更多的信息从源图像融合的图像。虽然我们的算法的SF度量不是最好的，可比的结果仍然表明，我们的融合结果有足够的梯度信息。至于SF指标，我们的STDFusionNet仅以微弱优势落后于IFCNN。

泛化实验

为了评估STDFusionNet的泛化能力，我们使用RoadScene数据集的图像对来测试在TNO数据集上训练的模型。由于RoadScene中包含的可见图像是彩色的，因此我们使用特定的融合策略来实现保留颜色的图像融合。具体地，RGB可见图像首先被转换到YCbCr颜色空间。然后，Y通道和灰度红外图像进行融合，因为结构细节主要在Y通道中。最后，通过逆变换，将融合后的图像转换到具有可见光图像Cb和Cr通道的RGB颜色空间。

定性结果：

虽然其他方法可以突出不同的目标，融合图像的背景是非常不理想的。特别是，融合图像中的天空被热信息严重污染，甚至无法从融合图像中准确估计当前时间和天气，这对于道路场景来说是致命的。此外，其他方法对于在背景区域中保留纹理细节是不期望的，诸如在墙壁、自行车和树桩、栅栏和街灯上的文字。相比之下，STDFusionNet有效地保留了背景区域的细节信息，同时保持甚至增强了显着区域中热红外目标的强度和对比度。

定量结果

我们还从RoadScene数据集中选择了20对图像进行客观评估，并在表格I和图14中展示了不同方法在四个指标上的表现。与TNO数据集中的结果类似，我们的STDFusionNet在三个指标（即MI、VIF和SF）的平均值上表现最佳，但优势不如TNO数据集中明显。对于EN指标，我们的方法仅比NestFuse略逊一筹。总的来说，定性和定量结果都表明，STDFusionNet具有良好的泛化性能，受成像传感器特性的影响较小。定性和定量结果表明，STDFusionNet具有良好的泛化性能，且受成像传感器特性的影响较小。

显著目标检测的可视化

正如前面提到的，所提出的STDFusionNet可以以隐式的方式实现显著目标检测。为了证实这一点，我们提供了几个视觉示例。图15展示了四对典型的红外和可见光图像对（Kaptein_1123，Kaptein_1654，Bunker和Nato_camp_1816）的显著目标检测可视化结果。从上到下依次是红外图像、可见光图像、STDFusionNet的融合结果、红外图像的显著区域（作者使用了LabelMe工具箱来标注红外图像中的显著目标）和融合图像减去可见光背景区域的差异图。从上到下依次是四对图像对的结果。从这些结果可以看出，STDFusionNet的融合结果不仅包含了显著的热目标，还具有丰富的背景纹理。同时，从融合图像中减去可见背景区域的结果几乎与红外图像的显著区域一致，这表明STDFusionNet可以隐式地实现显著目标检测。此外，作者的方法还能够检测到一些额外的显著热目标，这与手动标注的结果略有不同。

消融实验

在我们的模型中，所需的信息被明确定义为红外图像中的显著目标和可见图像中的背景纹理结构。为了验证所需信息定义的合理性，我们在TNO数据集上训练了两个模型，一个基于所需信息定义来指导网络的优化，另一个则不使用所需信息定义。通过这种方式，我们可以比较两种模型的性能差异。这两个模型之间的主要区别在于是否将显著目标掩模引入损失函数。由于不需要区别地处理显著区域和背景区域，因此当显著目标掩模被移除时，折衷控制参数α被设置为1。

在消融实验中，将超参数α设置为1是为了比较不同超参数对融合结果的影响。在本文中，α是用于平衡显著区域和背景区域损失的折衷控制参数。将α设置为1相当于不对显著区域和背景区域的损失进行平衡，即只考虑像素和梯度损失函数对整个图像的约束，而不考虑显著区域和背景区域的差异。通过与设置α为7的情况进行比较，可以看出平衡显著区域和背景区域的损失对融合结果的影响。

从图16可以看出，使用所定义的期望信息后，STDFusionNet的融合结果不仅可以突出显著区域的独特目标，还可以保留背景区域的纹理细节。相比之下，如果不使用所定义的期望信息，网络只能以粗略的方式融合红外和可见光图像，导致红外图像的热辐射信息和可见光图像的纹理信息无法得到很好的保留。此外，如表III所示，没有明确定义所需信息的模型性能会显著降低。具体而言，与STDFusionNet相比，如果不引入显著目标掩模，EN、MI、VIF和SF指标分别下降了15.8％、52.6％、42.3％和21.5％。这些结果表明，我们所定义的期望信息是合理的，并且对于提高融合性能具有重要意义。

Gradient Loss Analysis

在构造损失函数时，除了像素约束外，还引入了梯度损失，以迫使融合图像中的显著目标具有更清晰的纹理和轮廓。我们实施消融实验来证明梯度损失的有效性。具体来说，我们在没有额外梯度损失的情况下训练模型，结果如图16所示可以看出，当去除梯度损失时，显著区域几乎不具有任何纹理信息，并且显著目标形状也存在严重失真。此外，在背景区域中出现若干伪影。此外，定量比较的结果展示在表III中，其中除了SF度量之外，所有度量都呈现减小的趋势。这些实验结果表明梯度损失的重要性，它可以确保融合图像中的显著目标的纹理清晰度。

5.总结

本文提出了一种基于显著目标检测的红外和可见光图像融合网络STDFusionNet。我们明确地将红外和可见光图像融合的目标定义为红外图像中的显著区域和可见光图像中的背景区域。基于这个定义，我们将显著目标掩模引入到损失函数中，以精确地指导网络的优化。因此，我们的模型可以隐式地实现显著目标检测和信息融合，其结果不仅包含显著的热目标，还具有丰富的背景纹理。广泛的定性和定量实验表明，我们的STDFusionNet在主观视觉效果和定量指标方面优于现有的方法。此外，我们的方法比其他比较方法快得多。