Infrared and visible image fusion using total variation model（采用全变差模型的红外与可见光图像的融合）

由于研究需要，在非专业学习的基础上对《Infrared and visible image fusion using total variation model》进行了翻译，有翻译不对之处，还望指教！

原文地址：http://download.csdn.net/detail/smilehehe110/9750199 （也可自己下载）

采用全变差模型的红外与可见光图像的融合

 

摘要：

       图像融合是将来自多个相同的场景的图像的互补信息合成到一幅图像，使得合成图像包含的场景比任何单幅源图像具有更精确的描述。在本文中，我们提出了一种基于全变差最小化的红外与可见光图像融合的新策略。通过对具有相似像素强度的红外图像与相似梯度的可见光图像的融合图像的约束，融合图像往往可以同时保留源图像的热辐射信息和外观信息。我们使用公共的数据通过与其他七个融合方法比较，来评价我们的算法。我们的实验结果与其他算法相比最大的不同点在于融合图像看起来有详细的外观图像，如尖锐的红外图像。定量结果表明，我们的方法还可以达到堪比其他顶尖融合方法的度量标准。

1、引言

       多传感器数据通常可提供有关调查的区域互补信息，对于遥感[1,2]、模式识别[3,4]、医学成像[5,6]和现代军事[7,8]等领域的场景分析，图像融合已然成为一个有前途的研究战略，这些图像旨在从可提供更复杂和细致的场景描述图像中创建新的图像。在本文中，我们专注于多传感器数据的融合，如热红外图像与可见光图像的融合，对人类视觉感知、物体检测以及目标识别[9,10]而言，这种融合性能更好。

       图像融合的目标是确定源图像中的最重要的信息，在无失真或损失的情况下，将这些信息转移到融合图像中。就红外线与可见光图像的融合问题而言，可见光传感器可以采集含有丰富外观信息的反射光，并且可以更好地建立一个判别模型。相反，红外传感器捕获主要被物体发射的热辐射，该物体不受照明变化或掩藏，因此，它可以昼夜工作并克服一些障碍来发现目标。然而，红外图像比可见光的空间分辨率低，其中，可见光图像中的外观特征，如纹理信息经常会丢失，而在相对应的红外图像中，纹理信息几乎不影响物体发出的热量。因此，对于自动的目标检测和明确的定位，将热辐射和纹理信息融合进一幅单一的图像是很有益处的。

        图像融合的处理表现在不同的层次，这取决于信息的表示和应用。一般的分类层次就是像素级、特征级和象征符级？（相关资料查询结果：第三个层次应是“决策级”，引用文献来自2003，说法可能和时间有关？）[11]。像素级融合指的是在最低水平参照原始源图像组合成单幅图像[12]的融合。较高水平如特征级或象征符级？（决策级）的融合是将特征描述符和概率变量进行组合。然而，像素级融合仍然是大多数图像融合的常规应用策略，因为它具有与原始测量量直接参与融合过程的主要优点。另外，像素级融合算法计算效率高且易于实现[14]。在本文中，我们仅专注于像素级图像融合问题。

       一种用于像素级融合的先决条件是多传感器的图像必须在像素的基础上正确地配准，图像配准技术已经在文献[15-19]中广泛讨论。贯穿全文，假定所有源图像已经被配准，为了解决像素级融合的问题，过去十年已经提出了许多方法[20-31]。最简单的方法是取源图像的像素平均值。这种直接的方法会导致一些副作用，包括降低对比度。为了解决这个问题，提出了基本的方法多尺度变换（MST），它能提供更好的性能，因为这种方法与人类视觉系统相一致，且自然界中物体是由不同尺度[11,32]上的结构组成的。这些方法包括拉普拉斯金字塔[20]、离散小波变换[33]和非下采样Contourlet变换[34]。在很多情况下，基于MST的方法已经取得了巨大成功，然而，他们使用不同源图像的相同表征还试图保留相同的显著特征，如源图像边缘和线条。对于红外和可见光图像的融合，在红外图像的热辐射信息里，其特征在于像素强度，目标通常具有比背景更大的强度，因此可以容易地检测；而可见光图像的纹理信息主要表现为梯度，梯度大小(如边缘)为场景提供细节信息。因此，在融合过程中，使用这两种类型的图像的相同描述是不恰当的。为了尽可能地保留重要的信息，融合图像期望保留红外图像中的主要强度分布和可见光图像中的梯度变化。为此，本文提出了一种基于全变差最小化的红外与可见光图像融合的新算法。

       更准确地说，我们将融合表示为全变差最小化问题，其中数据保真项约束融合图像应当具有与给定的红外图像的类似像素强度，正则项确保可见光图像中的梯度分布可被转移到融合图像。该ℓ1规范被用来支持梯度[35]的稀疏性，通过目前的全变差技术可以解决其优化问题。

       本文的贡献是双重的。一方面，我们提出了一种基于全变差最小化的红外与可见光图像融合的新算法，它趋向于同时保留源图像中的热辐射信息以及详细的外观信息，据我们所知，此类融合方法尚未被研究。另一方面，与几个顶尖方法相比，使用公共数据集，我们提供了定性和定量的比较。与以前的方法相比，我们的方法可以产生带有细致场景描述的尖锐红外图像的融合结果，因此，它能够提高自动目标探测和识别系统的可靠性。

       本文的其余部分安排如下，第2节提出了红外与可见光图像融合算法的公式化表示；第3节，基于公共的数据集，与顶尖方法相比后，我们论证了我们自己的融合方法，；随后在第4节中，给出了一些结论。

2、方法

       在本节中，我们提出了自己的红外和可见光图像融合方法的布局。为此，我们首先介绍了全变差最小化问题，然后提出了基于全变差最小化的自己的融合方法。

2.1 全变差最小化

      全变差模型是由贝克等人[37]作为一个正则化的标准来解决图像去噪问题，因为它能有效地保护图像的边缘信息属性，它已经从一个图像去噪方法[38]演变成较通用的技术来解决逆问题， 包括去模糊[40]，盲解卷积[41]，图像修复[42]，超分辨率[43]，纹理分析[44]和平滑[45]。

对于一幅mⅹn的图像，我们用u∈R^mnⅹ1表示像素强度的列向量形式，它具有0-255的灰阶值范围。该全变差模型中的u定义如下：

       对于中的每个u，；表示图像梯度在像素i处的与（线性算子）分别对应于水平和垂直的一阶差异。更具体地说，对于 ，其中，r(i)和b(i)代表像素i的邻近右侧和下方像素。此外，如果像素i位于最后一行或一列，则r(i)和b(i)均设为i。

在等式（1）中，在正则化约束下，许多图像处理任务可以用以下逆问题的公式表述：

       其中第一项是数据保真度项，它代表所观察到的图像f和原始未知图像u之间的保真度。第二项的全变差在正则化时起到了作用。λ为正则化参数，控制数据的保真度和正则项之间的权衡。等式（2）是经典的全变差最小化问题，从而可以通过使用现有的算法[36]有效地解决。它已被研究用于解决许多图像处理任务诸如去噪、去模糊和重建。

图1 我们的融合方法的定量说明.(a)可见光图像;(b)红外图像;(c)普遍的小波方法融合结果;(d)自己方法的融合结果

2.2 提出的融合算法

       给定一对配准的红外和可见光图像，我们的目标是产生一幅分别能同时保留两幅图像的热辐射信息和详细外观信息的融合图像。这里的红外、可见光和融合图像都应该是mⅹn的灰度图像，其列向量形式分别用u,v,x∈R^mnⅹ1表示，灰度值范围为0-255。典型地，热辐射的特征是像素强度，而融合图像预期具有与红外图像的类似像素强度，即下列经验误差应尽可能小

       为了融合详细的外观信息，一个简单的方案是所需要的融合图像也具有与可见光图像的类似像素强度。然而，在相同的物理位置的像素强度对于红外和可见光图像可能显著不同，因为它们是两个不同的现象表现。因此，通过同时减少 来产生x是不恰当的。要注意的是，关于场景的详细外观信息的本质特征在于图像中的梯度。因此，我们提出的约束是融合图像有类似像素的梯度，而不是可见光图像中的类似像素强度。由于可见光图像往往是分段光滑的，它们的梯度往往稀疏，梯度即是边缘。众所周知，ℓ1规范鼓励稀疏而ℓ2规范却不，因此，我们考虑尽量降低ℓ1规范的梯度差异，鼓励梯度的稀疏：

       组合等式（3）和（4），我们将融合表述为最小化问题，用下面的目标函数表示：

       其中第一项约束是融合图像x有与红外图像u中的类似像素强度，第二项要求是融合图像x和可见光图像v有类似的梯度，更具体地说，在相对应的类似边缘的位置，λ是一个正参数，控制这两项之间的均衡。目标函数（5）在一定程度上旨在将可见光图像中梯度/边缘转移到红外图像中的相应位置。因此，融合图像还是应该看起来像一个红外图像，但含有更多的外观细节，即具有更复杂和详细的场景描述的红外图像。它起着红外图像的锐化或增强的作用，这也是我们的方法和其它典型的融合方法[46]之间的主要区别。

显然，目标函数（5）为凸形，因而具有全局最优解，第一项是光滑的，而第二项非光滑。设 ，等式（5）可以被改写为：

       新的目标函数（6）是一个标准的全变差最小化问题，如等式（2）所示。用正则化参数λ，它仅仅需要通过现有的全变差最小化技术优化问题（6）来计算y，融合图像x*的全局最优解由决定。我们获得x*的估计后，使其标准化以便通过以下规则获得0-255的灰度值：

我们总结了算法1提出的融合方法。

算法1. 提出的融合算法。

输入：红外图像u，可见光图像v，参数λ

输出：融合图像x

1、使用文献[36]中的算法优化问题（6）来计算y*；

2、计算x*的最优估计为；

3、最后通过使用等式（7）标准化x*来获得融合图像x

图2  7个像对Bunker, Lake, Tank等的定性融合结果（从左到右）；

从上至下，分别是可见光图像、红外图像、我们的融合结果、LP的结果[20]、RP[22]、小波[23]、DTCWT[24]、CVT[25]、MSVD[26]、LP- SR[29]。显然，只有我们的方法可以同时保留源图像的热辐射信息和纹理信息。

3、实验结果

       在本节中，我们使用公共的数据集并与其他七种顶尖融合算法比较测试了自己方法的性能，七种方法分别是拉普拉斯金字塔（LP）[20]、低通比率金字塔（RP）[22]、小波[23]、双树复小波变换（DTCWT）[24]、曲波变换（CVT）[25]、多分辨率奇异值分解（MSVD）[26]、（LP-SR拉普拉斯金字塔）稀疏表示[29]。所有七种算法都是基于公开获得的代码实现的，其中所述参数是根据原始文件设置的，并且我们尽自己所能调整了一些细节。该实验用MATLAB代码在笔记本上实现，笔记本配置为主频2.5GHz、英特尔酷睿CPU、内存8GB。

3.1 数据集和设置

       我们利用TNO HumanFactors数据集上的监控图像测试了我们的方法，其中（该监控图像）包含不同的军事相关场景的多光谱（加强可见光、近红外线、长波红外线或热红外线）的夜间图像，图像用不同的多波段摄像系统进行配准，摄像系统例如雅典娜、DHV和FEL。该数据集可在网址http://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029 上获得。我们选择了7对典型的图像序列，做了定性说明和定量比较。对于雅典娜摄像系统，可见光和红外图像分别由电荷耦合器件（CCD）传感器和前视红外（FLIR）传感器获得。DHV摄像系统的可见光图像是由可见光和近红外增强型弱光 CCD 传感器所获取的，而DHV照相机系统的红外图像由热中波红外传感器获取。对于FEL系统，可见光摄像机是带756ⅹ581 CCD芯片的一款西门子K235 CCD摄像机，而红外（IR）相机是一款琥珀色光1（Goleta, CA, USA）焦平面阵列（FPA）的相机，它具有256ⅹ256的像素阵列，可以在3-5微米（中档）波段操作。此外，该像对已提前被配准了。为了处理未配准的像对，有一个现成的多模态图像配准算法可以用作配准像对的预处理[3]。

       一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。因为在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。近年来，许多融合指标被提出，通常都是基于源图像到融合图像的特征（例如，边缘、信息量）转移的测定。然而，他们都不是绝对比别的做得好。因此，有必要应用多个指标对不同的融合方法进行综合评价。在本文中，我们使用四个不同的指标定量评价了不同融合方法的性能，如互信息（MI）[48]，基于融合度的梯度（Q^G）[49]，功能互信息（FMI）[50]，和熵（EN）[29]。详细地说，MI是信息论的测量信息，一个变量包含关于另一个量的基本概念；Q^G是一个普遍的融合的指标，用于计算从源图像注入到融合图像的梯度信息量；FMI计算与主观质量测量一致的图像特征的互信息；EN被用于测量融合图像中的信息量。对于这四个指标，数值越大代表性能越好。

参数初始化：在我们提出的算法中，只有一个参数，如正则化参数λ，它控制两个源图像之间信息保存的折衷。一般情况下，λ较小表示保留较多热辐射信息，而λ较大，对应传递更多的纹理信息。当 时，融合结果为原始红外图像，当 时，融合结果为原始可见光图像。在整个实验中，我们修正λ为0.4作为一个经验值，从而可以在大多数情况下，实现良好的视觉效果。

3.2 定性的比较

       我们首先对算法的性能给出了直观的印象。为此，我们做了三个典型的像对（即Bunker,、Lake 和 Tank）实验，并使用普遍的融合方法小波[23]进行比较，其结果如图1所示。左侧两列将可见光和红外图像进行融合，其中可见光图像包含详细的背景，红外图像突出显示目标（即建筑物、湖和坦克），第三列是小波的融合结果。我们看到，小波的融合结果无法很好地保留源图像的细节，且未能突出目标，因为背景与目标有类似的像素强度，如第一行的建筑物和第三行的坦克。这表明了保持红外图像中热辐射分布的重要性，当在军事应用中假目标的场景经常出现时，这个优势将被放大。在图1中的最后一列是我们提出的算法的融合结果，其目的是融合红外图像中的热辐射信息和可见光图像中的纹理信息。我们的结果倾向于保留红外图像的热辐射分布，因此目标容易检测。同时，可见光图像中的背景细节也保留在我们的结果中。

       在图2中描述了利用七种顶尖算法得出的七个像对的一个定性的比较。我们可以看到，只有我们的方法趋向于同时保留源图像中的热辐射信息和纹理信息。该融合图像看起来像带有明确突出目标的尖锐红外图像，因此，它有利于自动目标检测。这就是我们的方法和其它现有的融合方法之间的主要区别。

3.3 定量的比较

       接下来，我们给出了七个测试像对的八种方法（加上自己的融合方法）的定量比较。结果见表1-4，其中，最好的值用红色显示标记。随着LP-SR方法之后，我们可以看到，在大多数情况下，我们提出的方法可以产生最佳指标值。更具体地说，LP-SR比我们的方法具有更好的互信息（MIs）和熵（ENs）；与其他的融合方法相比，我们的方法得到的融合度梯度（Q^Gs）和功能互信息（FMIs）更好。有趣的是，甚至传统的拉普拉斯[20]方法也可产生与几种顶尖方法相当的结果。这意味着，保留源图像的细节可能不是很难，也进一步突出了保留红外图像热辐射信息的重要性。

图3 Nato_camp序列的四个指标（即MI、Q^G、FMI和EN）的定量比较。七种顶尖方法LP [20]、RP [22]、Wavelet [23],、DTCWT [24],、CVT [25]、 MSVD [26] 和 LP-SR [29]作对比参照。这四个指标，数值越大，性能越好。对于这个数字说明颜色的引用解释，读者可以参考本文的网络版本。

 

       我们进一步提供了一幅图像序列（即Nato_camp）的八种方法的定量比较，图像序列包含32个像对，从图2的第六列中可以看到一个实例对。定量结果如图3所示，其中，用红圈标记的我们的方法始终具有最好的互信息（MI）和功能互信息（FMI），熵（EN）次之，在大多数情况下，有最好的融合度梯度（Q^Gs）。这表明，我们的方法往往不仅能保留源图像中重要的热辐射信息，而且还保留大量细节信息。我们的方法中每对图像序列的平均运行时间约为0.15秒，其中图像大小均为270ⅹ360。

4、结论

       在本文中，我们提出了一种基于全变差最小化的红外与可见光图像融合的新方法，它可以同时保留红外图像中的热辐射信息和可见光图像中的外观信息。融合结果看起来像带有清晰突出目标的高分辨率红外图像，因此，它有利于基于融合的目标检测和识别系统。与其他七个顶尖融合方法的指标定量比较表明，我们的方法不仅能识别源图像中的最重要信息，而且可以保留源图像中最大或近似的最大信息量。

本文提出的模型可以解决红外与可见光图像的融合问题，然而，这是一般的也可以应用到其它图像处理的问题上，如超分辨率[51-54]，其基本思想是低分辨率噪声模糊图像的序列融合以产生更高分辨率的图像或序列。

致谢

       这项工作由国家中国国家自然科学基金（批准号（NO.）：61503288、41501505）、中国博士后科学基金（批准号（NO.）：2015M570665）、中国国家留学基金委基金会（批准号（NO.）:201506415020）、中国地质大学开放基金（批准号（NO.）： AU2015CJ05）资助。

参考文献：

。。。。。。