Infrared and visible image fusion based on weighted variance guided filter and image contrast enhan

基于加权方差引导滤波和图像对比度增强的红外和可见光图像融合

Abstract

随着传感器技术的飞速发展，红外和可见光图像融合已广泛应用于军事和民用领域。在本文中，我们提出了一种新的基于分解和分割策略的图像融合方法。该方法改进了引导滤波器，能够更好地分解图像并限制图像边界附近的伪影。此外，由于可见光图像的质量容易受到弱光条件和噪声的影响，因此在应用图像融合之前，有必要增强可见光图像的对比度以提高视觉质量。随后，我们将红外和可见光图像在垂直方向上划分为多个子图像，因为在该方向上有更多类似的图像内容，例如天空和陆地。此外，每个子图像被分解为基础层和细节层。与以往的方法不同，本文提出的方法采用两种不同的融合策略，一种是以亚红外基层为主图像，另一种是以亚可见基层为主图像，得到两种不同的子融合结果。我们还提出了一种新的融合策略，称为梯度亮度准则，以自适应地输出最终的融合图像。因此，融合后的图像在保留可见光图像更多细节的同时，还保留了更清晰的红外物体，非常适合人类视觉感知。实验结果表明，与以往的融合方法相比，本文提出的方法在主观和客观评价方面都取得了较好的性能。

Introduction

红外和可见光图像融合已经成为一个研究热点，因为融合的结果能够全面地保留来自不同传感器的热目标和背景细节，融合后的图像可以方便后续处理或帮助决策。因此，它被广泛应用于增强人类视觉感知、军事应用、遥感、医学成像、目标识别和跟踪等方面的性能[1]。

融合图像的优点在于它将红外图像的热信息与可见光图像的纹理信息相结合。此外，红外图像可以减少极端环境的影响，如强烈的阳光、烟雾和黑暗环境。特别是在黑暗环境中，由于红外成像原理依赖于温度辐射而不是照明，因此也可以很好地显示热目标。图像融合方法大致可分为基于空域的方法和基于频域的方法。经典的空间方法是加权平均和基于块的方法，如LAP[2–3]、ICA[4]和PCA[5]。基于频率的方法包括CVT[6]、DWT[7]、DTCWT[8]、NSCT[9]、NSST[10-11]。还有一些其他基于稀疏表示[12–13]的方法。然而，它们大多比较复杂，运行速度慢，不适合实际应用。

近年来，基于多尺度分解的空间域融合方法得到了广泛的研究。一些有代表性的方法如下：Li[14]等人提出了一种快速有效的图像融合方法，称为基于引导滤波的融合方法（GFF），其中引入了一种基于权重构造的新型引导滤波器，将像素显著性和空间一致性结合起来。此外，基于多尺度边缘保持分解的融合方法[15–16]已得到广泛研究。Ma[17]等提出了一种基于视觉显著性图的图像融合方法。该方法提出了一种用于细节层融合的加权最小二乘（WLS）优化方案。然而，由于边缘保持滤波器的失效，上述方法倾向于在图像轮廓周围输出伪影晕。为了解决这个问题，Zhang[18]等人提出了一种新的基于共现滤波器（Cof）的图像融合方法，该方法在保持边缘和纹理方面非常有效。但对于细节层融合，作者采用了“最大绝对”准则作为融合策略，很容易将红外图像和可见光图像的细微噪声带入融合图像中。Zhou[19]等人提出了一种夜视上下文增强方法，称为GFCE。与提出的方法类似，GFCE方法在图像融合前也对可见光图像进行了增强，但主要针对夜视图像的亮度增强。当在其他天气条件下拍摄可见光图像时，由于局部区域过度曝光、噪声放大和细节丢失，增强可见光图像和最终融合图像的视觉效果都很差。

除了这些多尺度分解方法外，最近还提出了一些新的方法。Zhang[20]等人提出了一种利用四叉树分解和Bezier插值提取红外图像目标区域的方法。该方法提取红外热目标快速有效，但由于特征提取算法的局限性，忽略了低温目标。Kong[21]等人提出了另一种新方法，称为结构转移融合法。他们创建了一个结构转换模型，将结构从可见光图像转换为红外图像，并增强红外细节。其缺点是对结构传递参数设置过于敏感，不同的参数设置可能导致截然不同的融合结果。

近年来，深度学习以其足够的能力提取具有代表性的图像特征，已成功地应用于图像融合领域。出现了一些基于卷积神经网络（CNN）的图像融合方法[22–24]。Ma[25]等人提出了一种称为FusionGAN的新方法，该方法利用生成性对抗网络（GAN）进行图像融合。在该方法中，发生器的目标是生成具有主要红外强度的融合图像，而鉴别器的设计旨在强制融合图像保留可见图像的更多细节。由于其细节保留能力差，他们提出了一种改进的方法，称为DPFusionGAN[26]，旨在保留融合图像中更多的红外和可见细节。Jian[27]等人提出了一种基于带残差块的编码器-解码器的融合方法，他们利用自动编码器（AE）提取深度特征，并将残差块与softmax操作相结合来完成图像融合。然而，从这些论文的实验结果来看，这些基于深度学习的方法的性能并不比其他传统方法好，并且当训练数据不足时，网络无法很好地工作。

上述大多数方法忽略了一个关键问题。在大多数情况下，可见图像质量很容易受到成像设备或天气条件的影响。低光环境或雾天很容易阻止可见图像的重要细节和纹理信息显示，同时产生较差的视觉效果。为了克服这个问题，我们在传统的引导滤波器的基础上提出了一种新的边缘保持滤波器，称为“加权方差引导滤波器”（WVGF），以及一种用于图像融合前可见光图像对比度增强的新算法。改进的引导滤波器考虑了局部窗口中的梯度和加权方差，我们的工作贡献如下：
1.引入了加权方差引导滤波器（MVGF），它通过完成两尺度分解而不是多尺度分解，在保留基础层边缘以及消除图像轮廓周围的伪影方面非常有效；
2.在可见光图像的基础层，采用伽马校正来校正亮度，我们改进了非局部均值（NLM）滤波器[28]来滤除噪声，同时增强细节层的细节；
3.将红外和可见光图像划分为若干重叠子图像，保证相似区域具有相似的强度。此外，本文还提出了一种新的图像融合策略，该策略根据两幅图像的基本层子图像分别获得两幅不同的初始子融合图像；
4.提出了一种新的融合规则梯度亮度准则，对第三步得到的两幅初始子融合图像进行自适应融合。因此，通过使用等效汉宁窗，将多个子融合结果组合以形成最终融合图像。

本文的其余部分组织如下：在第2节中，我们具体介绍了所提出的WVGF。在第3节中，将详细介绍所提出的用于可见光图像对比度增强和图像融合过程的方法。在第4节中，提出的方法应用于公共数据集。最后，在第五部分给出了本文的结论。