An infrared and visible image fusion method based on multi-scale transformation and norm optimizatio

An infrared and visible image fusion method based on multi-scale transformation and norm optimization

一种基于多尺度变换和范数优化的红外可见光图像融合方法

作者：Guofa Li, Yongjie Lin, Xingda Qu

期刊：Information Fusion（2021）

摘要

         本文提出了一种基于多尺度变换和范数优化的红外可见光图像融合新方法。该方法设计了具有对比度保真度（L2范数）和稀疏约束（L1范数）的新型损失函数，并利用拆分Bregman方法优化损失函数，得到预融合图像。通过使用多级分解潜在低秩表示（MDLatLRR）方法对预融合图像进行分解，得到最终的融合基础层。然后，以预融合图像为参考，引入图像结构相似度（SSIM）来评估可见光图像中细节信息的有效性，然后将结构相似度转换为权重图，应用基于L2范数的优化方法，生成最终的细节融合层。本文对所提出的方法进行了评估，并与18种最先进的图像融合方法进行了比较，包括CVC14驱动数据集，自然场景TNO数据集，RoadScene数据集和全脑图集数据集） 的定性和定量。结果表明，所提出的方法在突出目标和保留有效细节信息方面总体上优于比较方法。      

融合方法

         当前红外与可见光图像融合的主流观点是：红外光图像目标突出，但细节信息不够丰富，可见光图像细节信息丰富，但目标不够突出。对于突出目标方面，当前许多处理是分解红外与可见光图像得到两个基础层，然后通过设计权重分配函数。该方法在源图像中保留高像素强度的特征，而忽略了全局对比度，导致融合图像无法在复杂场景（例如，汽车或路灯的夜间情况)中突出目标。作者认为源图像的信息并不全是有效信息，不应该全部放到融合图像中。既然红外光图像能够突出目标，而且是有效的，那我们直接将红外图像中目标与背景的亮度比保留下来就可以了。对于细节信息方面，常规融合策略旨在保留更多的源图像细节，然而，可见光图像细节信息虽然丰富，但由于环境的干扰，并非都是有效信息。相反，红外光图像细节信息虽然不够丰富，但反映的都是真实信息，这可以为细节信息的融合提供帮助。

基于上述两点，作者就提出了两阶段融合策略：

         第一阶段：预融合，既保留红外图像目标与背景的亮度比 ( 针对第一点) , 由于红外图像细节信息较少，所以又加入了梯度稀疏约束来适当加入一些可见光图像的细节信息来弥补(针对第二点)。

       这里的预融合其针对的是低频层的融合，而且加入的梯度稀疏细节信息也很少。总的来说，作者是想让预融合图像保持一种中立的状态。

       预融合图像有两个作用：①提高最终融合图像中目标与背景的对比度。②作为细节层融合中消除可见光图像无效细节信息的参考。

         第二阶段：细节层融合，以预融合图像为基准，分别与红外图像、可见光图像进行局部结构相似度SSIM评分。由于最终的权重图作用于可见光图像的细节层，所以权重图亮度越暗的位置代表着对应位置的可见图像细节信息权重越低。可以明显看到，不利于最终融合结果的可见光高光信息权重被降低了。在最终融合结果中可以看到，高亮度信息基本被消除。

总体融合过程：

      首先对红外可见图像进行预处理得到预融合图像。接着将红外图像、可见光图像与预融合图像经图像分解算法MDLatLRR(利用图像的低秩性来分解图像)分解出基础层与细节层。其中，来自预融合图像的基础层作为最终融合图像的基础层，来自红外图像与可见光图像的细节层在预融合图像的协助下融合得到最终融合图像的细节层。最后将该基础层与细节层融合得到最终的融合图像。

预融合图像的生成

       具体来说，预融合处理可视作一个优化问题：由对比度保真项与梯度稀疏约束项构成：

       对比度保真项：f表示预融合图，Ir是红外图像。

       我们希望最终融合图像保留红外图像的目标背景对比度，而不是直接跟红外图像每个像素值一模一样 (毕竟红外图像并不符合人眼视觉感知嘛) ，也就是(f-Ir)大部分区域不为0，但接近0，即我们认为(f-Ir)应当是高斯分布，采用的是L2范数。

梯度稀疏约束：

       这一项是预融合图像梯度项，既考虑了红外图像，也考虑了可见光图像。显然，在νf-梯度分布上，我们当然希望是梯度可以一模一样转移到预融合图像中，也就是大部分值为0，本来用L0范数最直白了，但是L0范数是一个NP问题，所以采用L1范数来作为近似。

综合起来：

优化函数：

最后应用Split Bregman求该式子最小值k，可得到预融合图像f。

细节层的融合过程：

       对预融合图像与红外图像、预融合图像与可见图像分别使用滑动窗口计算局部结构相似性SSIM，得到Score(V-P) Map (可见与预融合图像)与Score(I-P) Map (红外与预融合图像)两个得分图。两个得分图再经由如下式子转换为权重图，最后根据权重图将红外与可见光图像的细节层融合为最终的融合图像的细节层。

创新点

•提出这种新的融合思想，就是直接将红外图像的目标背景对比度加上来，别人是用加权。

•根据这个思想建立了首个将图像结构相似性和范数优化用于细节层融合的数学模型

•提出了一种基底层融合的预融合方法。

实验结果

从实验部分可以看出作者的这种思想是有效果的，尤其对于强光。

不足地方

       ①由于红外可见光融合没有理想的融合图像来对比设计损失函数，所以损失函数的设计目前仍是是一个挑战。

       ②两阶段融合所使用的时间较长，时间花费主要在于局部结构相似度SSIM的计算，也就是对可见光图像信息有效性的评分，可以考虑转化为基于深度学习的方法。

 文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！