【浅读论文-红外和可见光图像融合-综述】Infrared and visible image fusion methods and applications: A survey（上）

一 概述

这是2019年提出的论文综述¹ ,主要对早期的传统融合方法和应用做综述，简要回顾一下。

📖 论文地址

二 介绍

       文章首先详细综述了红外和可见光图像的融合方法。同时，简要介绍了图像配准作为图像融合的前提条件。其次，概述了红外和可见光图像融合的主要应用。第三，对图像融合性能的评价指标进行了讨论和总结。第四，选取18种具有代表性的方法和9个评价指标进行定性和定量实验，为不同融合方法提供客观的性能参考，从而为相关工程提供可信、确凿的证据支持。最后，总结了红外和可见光图像融合的现状，并对未来的工作进行了深入的讨论和展望。

三 Introduction

红外光和可见光图像融合的优点：

• 它们的信号来源于不同的模态，从而从不同方面提供场景信息。可见光图像捕获反射光，而红外图像捕获热辐射。因此，这种组合比单模态信号的组合更具信息性。
• 红外和可见光图像呈现出几乎所有物体所固有的特征，但是这些图像可以通过相对简单的设备获得，而不像CT或MRI图像那样具有严格的成像技术要求。
• 红外和可见光图像具有互补特性，从而产生稳健且信息丰富的融合图像。
  • 可见光图像通常具有高空间分辨率和相当多的细节和明暗对比;因此，它们适用于人类的视觉感知。然而，这些图像很容易受到恶劣条件的影响，例如照明不足、雾和其他恶劣天气的影响。
  • 红外图像可以抵抗这些干扰，但通常分辨率低且纹理较差。因此，由于所利用图像的普遍性和互补性，可见光和红外图像的融合技术可以比其他融合方案用于更多的领域，例如：物体识别，检测，监控，遥感等。

红外和可见光图像融合的方法根据其对应的理论分为七类，接下来逐一进行讲述其工作过程。

四 Methods

１．基于多尺度变换的方法

  基于多尺度变换的方法是图像融合中最活跃的领域，它假设图像由不同颗粒的不同层表示。这些方法将源图像分解为多个级别，将相应的图层与特定规则融合，并相应地重建目标图像。用于分解和重建的常用变换包括小波、金字塔、曲线等。
融合步骤：首先，将每个源图像分解为一系列多尺度表示。然后，根据给定的融合规则对源图像的多尺度表示进行融合。最后，在融合表示上使用相应的逆多尺度变换获取融合图像。基于多尺度变换的融合方案的关键在于变换和融合规则的选择。
缺点：基于多尺度变换的方法，依赖于预定义的变换和相应的水平进行分结合重建。但是，没有使用任何条件来评估这些转换或级别。因此，转换是盲选的，从而容易降低性能。此外，目前的融合规则大多过于简单，配准错误或噪声会给融合的多尺度表示系数带来偏差，从而导致融合图像出现视觉伪影，例如光晕。
  多尺度变换的融合方案如图所示：

多尺度变换方法

金字塔变换

  金字塔变换旨在将原始图像分解为具有不同尺度空间频段的子图像，这些子图像具有金字塔数据结构。各种类型的金字塔变换被提出用于红外和可见光图像融合、拉普拉斯、可控和对比度金字塔。Infrared and Visible Image Fusion using a Deep Learning Framework我们之前所提到的这篇论文就是用到金字塔变换这一方法。

• 拉普拉斯金字塔变换需要迭代执行以下步骤：低通滤波，采样，插值和拆分。
• 可控金字塔将源图像分解为不同比例和方向的子图像集合，这种变换具有自反相，无混叠，平移和旋转不变的优点。
• 对比金字塔变换源于拉普拉斯金字塔变换，计算高斯金字塔两个相邻低通滤波图像的比值，该模型可以考虑局部对比度。

小波变换

  小波变换的多分辨率理论的灵感来自信号分解和重建的塔算法。与金字塔变换的多尺度表示系数不同，小波变换的多尺度表示系数是不相关的。典型的基于小波变换的红外和可见光图像融合方法包括离散小波变换、双树离散小波变换、提升小波变换、提升稳态小波变换、冗余提升不可分离小波多向分析、谱图小波变换、四元数小波变换、运动补偿小波变换和多小波。

• 离散小波变换可以将源图像分解为一系列高频和低频子图像，这些子图像可以通过一组滤波器来实现。然而，离散小波变换存在振荡、位移方差、混叠和缺乏方向性等问题。
• 双树离散小波变换基于可分离滤波器组，与离散小波变换相比，具有计算效率高、近移位不变性和方向选择性等优点。
• 提升小波变换可以看作是一种完全空间域变换方法；与传统的小波变换相比，它具有自适应设计、不规则采样和积分变换等优点。

非亚采样轮廓变换

  小波变换是一种快速有效的一维分段平滑信号表示方法，已成功应用于许多信号处理和通信领域。将一维信号小波变换扩展为二维图像小波变换可以隔离边缘点的不连续性。然而，二维小波变换无法捕获图像丰富的方向信息。为了克服这个问题，Minh N.Do和Martin Vetterli提出了一种高效的多向多分辨率图像表示方法，称为contourlet变换。该模型基于拉普拉斯金字塔和定向滤波器组，可以很好地捕捉图像边缘的几何形状。然而，由于下采样和上采样，锥字塔滤波器组结构导致的等值线变换存在移位变化和冗余问题。
  非子采样轮廓变换（NSCT）作为一种灵活且完全移位不变的模型提出，可以快速实现，以克服上述轮廓变换的问题。  NSCT 基于非子采样金字塔和非子采样定向滤波器组。非次采样金字塔滤波器组将每个源图像分解为一组高低频子图像以实现多分辨率分解，而非次采样定向滤波器组将这些高频子图像分解以实现多向分解。NSCT是移位不变的，因为它消除了轮廓变换的下采样和上采样操作，从而确保了良好的频率选择性和规律性。因此，非次采样定向滤波器组可以减少伪吉布斯现象和误准的影响。

边缘保留过滤器

  边缘保留滤镜将源图像分解为平滑的基础图层和一个或多个细节图层。边缘保留滤镜可以保持结构的空间一致性，并减少边缘周围的光晕伪影。基础层通常是通过在图像上使用边缘保留滤镜来获得的，因此可能会捕获强度的较大变化。细节层由一系列不同的图像组成，这些图像可以在各种渐进的精细比例下保留细节。
该滤波器分类有以下几种：

• 均值滤波器：是一种经典而简单的去噪方法，旨在使用每个像素的空间相邻像素的平均值来去除噪声。

• 非局域均值：和均值滤波相似，只是前者根据强度灰度的相似性采用相邻像素。

• 各向异性扩散：基于偏微分方程，它不仅可以平滑均匀区域的图像，还可以保留边缘、形状和位置。

• 双边滤波器：是耗时的各向异性扩散模型的快速替代方案，它将低通滤波与边缘停止功能相结合。在数学上，双边滤波器根据空间和频谱距离使用相邻像素的高斯加权平均值来消除每个像素的噪声。因此，该滤波器是局部和非线性的，因此可以同时平滑图像并保留细节。

• 加权最小二乘滤波器：旨在平衡原始图像的平滑和近似，从而可以同时减少振铃效应并去模糊图像。

• 多尺度保边滤波器：基于拉普拉斯金字塔和加权最小二乘滤波器，可以利用多尺度分解和保边滤波器。

• 局部保边滤波器：可以同时保留全局显著边缘和局部形状，从而增强局部细节。

• L₁ fidelity L₀ gradient：用于保留基础图层和细节图层的细节。

• 引导滤波器：是通用的平移变体，基于局部线性模型；它是一种快速线性时间滤波方法，具有保持边缘平滑和结构转移的优点。

• 四阶偏微分方程滤波器：可将源图像分解为基础图像和细节子图像。

• 混合滤波器： 由两个或多个滤波器组成。

• 双边滤波器加权最小二乘滤波器旨在平衡原始图像的平滑和近似，从而可以同时减少振铃效应并去模糊图像。多尺度保边滤波器基于拉普拉斯金字塔和加权最小二乘滤波器，可以利用多尺度分解和保边滤波器。

其他多尺度变换方法

   其他类型的多尺度变换方法也已应用于红外和可见光图像融合。这些模型包括曲线变换、框架变换、剪切变换， 四元变换， 顶帽变换 ， 离散余弦变换， 方向变换， 经验模态分解、内部生成机制和多分辨率奇异值分解。

• 曲线变换旨在克服小波变换的固有局限性，小波变换不适合表示图像的边缘和几何结构。曲线变换是一种多分辨率、多方向的金字塔，可以沿边保持几何规则性。
• 然而，基于小波和曲线变换的图像融合方法存在块伪影和对比度降低的问题。框架变换可以使用紧密帧滤波器组来克服这些问题，这些滤波器组是对称和移位不变的。
• 剪切变换理论基于复合小波，复合小波是二维函数的最优近似。剪切带滤波器的支撑小于轮廓变换的定向滤波器，具有方向选择性和计算效率的优点。
• 四元变换是一种自适应的Haar小波变换，具有四元变换支持和几何适应性。这种变换可以很好地捕捉图像的几何特征。
• 顶帽变换是基于数学形态的多尺度变换。这种变换提取感兴趣的区域，同时保留图像细节。
• 方向变换，作为一种多尺度、多方向各向异性变换，可以保留源图像的几何特征。
• 经验模态分解作为一种非平稳自适应信号分解方法出现。经验模态分解的优点是可以提取低频振荡，并充分利用原始图像。

融合规则

系数组合法

  当使用多尺度变换将源图像分解为一系列多尺度表示时，需要根据给定的融合规则将红外和可见光图像的多尺度表示融合。系数组合法是红外和可见光图像融合中最常用的规则，它至少使用两种方案来组合多尺度表示系数。这些方案是 choose-max、加权平均值等方法。

• choose-max 方案选择最大系数作为多尺度表示系数。
• 加权平均方案通过加权对源图像的多尺度表示系数进行加权组合。可以通过多种方式获得加权平均方案的权重，其中最简单的是平均规则。最近，显著性分析已成为获取权重图的有力工具。 某些加权平均融合规则基于这种方法。此外，显著性分析通常与过滤器相结合，以获得权重图。模糊逻辑通常被集成到红外和可见光图像融合的加权平均融合方案中。
• 获得加权平均方案权重的方法。

基于区域的融合规则

  许多融合规则都是像素级的图像融合。然而，在一些实际应用中，我们的注意力集中在区域级别的图像对象上。因此，在图像融合过程中应考虑区域级信息。基于区域的规则基于图像的空间以及尺度间和尺度内的依赖关系，可以考虑图像的低级和中级结构。因此，基于区域的规则已广泛应用于红外和可见光图像融合。
  最具代表性的方法是基于显著区域。显著性方法旨在识别比相邻区域更突出的区域。该模型已被用于提取图像的视觉显著区域，可用于获取多尺度子图像的显著性图。因此，显著性法可用于红外和可见光图像的融合。
  其他基于区域的规则，如特征区域提取、感兴趣区域、区域分割、区域均匀性、区域能量、局部区域梯度、基于区域的活动测量和多判断融合规则也被提出用于红外和可见光图像融合。明亮和暗淡区域方法首先提取特征和详细信息。然后，可以将提取的特征区域整合到融合过程中。区域能量用于获得红外和可见光图像的融合低频系数。

其他融合规则

  其他类型的红外和可见光图像融合规则，如活动水平测量、系数分组法、基于优化的规则、Otsu法和上下帽形态变换、平均梯度和PCA、NMF和尖峰皮层模型已被提出。

  多尺度表示系数的活动水平衡量相应多尺度子图像的局部能量。活动水平测量大致可分为三类，即基于系数的测量、窗口测量和基于区域的测量。

  采用优化方案对红外和可见光图像融合的融合系数进行优化。其基本概念是制定一个规则，用于将融合系数作为优化问题。

2.基于稀疏表示的方法

  稀疏表示图像融合方法旨在从大量高质量自然图像中学习出超完备的字典。然后，源图像可以由学习到的字典稀疏地表示，从而潜在地增强有意义和稳定的图像的表示。此外，与多尺度变换不同的是，基于稀疏表示的融合方法使用滑动窗口策略将源图像划分为几个重叠的斑块，从而潜在地减少视觉伪影并提高对错误配准的鲁棒性。
融合步骤：首先，使用滑动窗口策略将每个源图像分解为几个重叠的块。其次，从许多高质量的自然图像中学习到一个过完备字典，并对每个补丁进行稀疏编码，利用学习到的过完备字典得到稀疏表示系数。第三，根据给定的融合规则对稀疏表示系数进行融合。最后，使用学习到的过完备字典，使用融合系数重建融合图像。
缺点：很难构建合适的超完备字典来表示目标数据。此外，合适的稀疏编码技术对于融合性能也很重要。
  稀疏表示变换的融合方案如图所示：

超完备字典构建

  在红外和可见光图像融合中，构建一个好的超完备字典很重要，大致可以分为两类，即固定基法和基于学习法。

• 第一类方法采用固定碱基简单且计算效率高。
• 第二类使用学习方法来获得超完整的词典。这些方法通常比固定基础方法更灵活、更有效。根据他们采用训练集的方式，基于学习的词典构建方法大致可以分为两类，即全局和自适应训练的基于词典的方法。
• 全局的基于词典的方法使用公共训练集来构建超完备词典。这些公共训练图像通常具有高分辨率和高质量。
• 基于自适应训练的词典方法采用源图像来构建超完备词典。
• 基于学习的字典构造方法，如K-means广义SVD（K-SVD）、自适应稀疏表示、最优方向、在线词典学习、多尺度词典学习、聚类和PCA等已成功应用于红外和可见光图像融合。 这些词典学习方法中最具代表性的是K-SVD，它在稀疏编码和词典更新之间交替。每次迭代时只更新字典的一列，此更新由 SVD 完成。

用于获取系数的稀疏编码

  在构造过完备字典后，可以使用稀疏编码技术获得表示系数，如正交匹配追踪、同步正交匹配追踪、联合稀疏表示模型、基于多选择策略的近似稀疏表示和卷积稀疏表示。

• 正交匹配追踪是一种贪婪追逐算法，用于识别非零稀疏编码系数。该模型具有计算效率高、易于实现等优点，因此在稀疏编码中得到了广泛的应用。
• 同时正交匹配追逐是正交匹配追逐的推广；它考虑了输入信号的相干几何结构。
• 卷积稀疏表示是一种对错误配准具有鲁棒性的平移移位不变稀疏表示。

融合规则

  一般来说，基于稀疏表示的红外和可见光图像融合方法的融合规则大多是系数组合模型或其变体，如choose-max和加权平均，这在上一节的融合规则有所提及。

3.基于神经网络的方法

  神经网络通常由许多神经元组成，因此可以模仿人脑的感知行为机制来处理神经元信息。神经元之间的相互作用表征了神经元信息的传递和处理，神经网络具有适应性强、容错性强、抗噪声能力强等优点。大多数基于神经网络的红外和可见光图像融合方法采用脉冲耦合神经网络（PCNN）或其变体。

融合方案：基于PCNN的红外和可见光图像融合方案通常与多尺度变换相结合，包括三个步骤。首先，将源图像分解为低频和高频子带。然后，利用各种策略得到融合的低频和高频子带。最后，应用逆变换方法生成最终的融合结果。不同的图像融合方法可以采用不同的多尺度变换方法，如可控金字塔、提升稳态小波变换、冗余提升不可分离小波多向分析、轮廓、NSCT、曲线、剪切变换、非亚采样剪切变换和内部生成机制。
缺点：设计合适的神经网络并调整相应的参数仍然具有挑战性。
  基于神经网络的融合方案如图所示：

  基于PCNN的红外和可见光图像融合方案的关键在于PCNN在融合策略中的应用，许多研究人员已经在高频子带中使用了PCNNs。
  近年来，深度学习在计算机视觉、模式识别和图像处理等各个领域都表现出了最先进的性能。深度学习具有很强的建模能力，可以对数据之间的复杂关系进行建模。此外，深度学习可以在没有人工干预的情况下自动从数据中提取独特的特征。因此，深度学习也成功地应用于图像融合，如多焦点图像融合、多模态图像融合、遥感图像融合，以及红外和可见光图像融合。据我们所知，只有一种基于深度学习的融合方法专门用于红外和可见光图像融合。具体而言，Liu等人提出了一种基于卷积神经网络的方法，该方法可以将红外和可见光图像融合中的活动水平测量和权重分配作为一个整体进行处理，以克服人工设计的困难²。

  然而，有几种通用的图像融合方法可以应用于红外和可见光图像融合。例如，Liu等人介绍了用于图像融合的卷积稀疏表示；他们从反卷积网络中得出了这个想法，该网络旨在构建层的层次结构，每个层由编码器和解码器组成。Zhong等人提出了一种联合图像融合和超分辨率方法，该方法基于卷积神经网络（CNN），使用ImageNet数据库中的90张选定图像进行训练。

4.基于子空间的方法

  基于子空间的方法旨在将高维输入图像投射到低维空间或子空间中。对于大多数自然图像，存在冗余信息，低维子空间可以帮助捕获原始图像的内在结构。此外，与高维输入图像相比，处理低维子空间数据消耗的时间和内存更少。此外，低维子空间表示可用于提高泛化。因此，基于子空间的方法，包括PCA、ICA和NMF，已经成功地应用于红外和可见光图像融合。
缺点：寻找强大表达能力的子空间是很困难的。

主成分分析法

  PCA旨在将可能相关的变量转换为称为主成分的不相关变量，从而可能降低维度并同时保持原始数据的信息。此外，PCA可以减少冗余信息并突出异同。因此，PCA已应用于红外和可见光图像融合。
  虽然PCA在不同领域得到了广泛的应用，但它对粗略误差很敏感，这在许多应用中无处不在。鲁棒PCA（RPCA）通过将矩阵分解为低秩和稀疏分量来克服上述问题。在图像融合中，RPCA可用于保留有用的信息并消除稀疏噪声。

独立成分分析

  ICA是PCA的扩展，旨在将可能相关的变量转化为不相关的自变量。基于ICA的图像融合方法通常使用几个与要融合的图像具有相似内容的自然图像来训练一组碱基。在获得一组预训练的碱基后，可以与内容相似的碱基融合。

非负矩阵分解

  NMF 旨在将原始数据矩阵分解为两个非负矩阵的乘积。这种方法是一种基于部分的对象表示模型，与人类的感知机制一致。鉴于这些优点，NMF已应用于红外和可见光图像融合。
  传统NMF的缺点是耗时长，效率低。

5.基于显著性的方法

  显著性以自下而上的方式吸引人类的视觉注意力，这种注意力通常被比邻居更重要的物体或像素捕获。根据人类视觉系统的机理，基于显著性的融合方法可以保持显著性物体区域的完整性，提高融合图像的视觉质量。因此，基于显著性的方法已被广泛用于红外和可见光图像的融合。
缺点：根据人类视觉系统涉及生态位定位和抗噪显著性检测方法具有挑战性，利用源图像的显著性仍然是一个悬而未决的问题。

  近年来，研究人员采用基于显著性的红外和可见光图像融合方法，包括权重计算和显著目标提取。在第一种情况下，采用显著性来重建融合图像。通过多尺度变换将红外和可见光图像分解为基层和细节层，并在源图像的基层或/和细节层中应用显著性提取模型，得到显著性图。然后，通过显著性图得到权重图，得到融合的基图或/和细节图，进而通过融合的基图和细节图构建融合图。
  显著性还可用于提取源图像的重要物体区域，从而获得良好的视觉效果并保留图像细节。因此，该模型非常适合监控应用，例如目标检测和识别。

6.混合方法

  上述红外和可见光图像融合方法各有优缺点，应结合其优点提高图像融合性能。最常见的混合红外和可见光图像融合方法将其他类型的方法集成到多尺度变换框架中，如混合多尺度变换和显著性， 混合多尺度变换和稀疏表示 ， 混合多尺度变换和神经网络以及混合多尺度变换、稀疏表示和神经网络方法。

  混合多尺度变换和显著性方法旨在将显著区域检测集成到多尺度变换图像融合框架中，从而增强感兴趣区域并保留细节。
  此外，稀疏表示和神经网络通常被集成到多尺度变换红外和可见光图像融合框架中。
  某些混合红外和可见光图像融合方法被归类为稀疏表示框架，如混合稀疏表示和显著性方法和混合稀疏表示和神经网络方法。

７．其他红外和可见图像融合方法

  其他红外和可见光图像融合方法可以激发图像融合的新思路和新视角。Ma等人提出了一系列基于全变分的红外和可见光图像融合方法。其主要思想是同时保留红外图像的强度信息和可见光图像的外观信息。然而，作者在刚开始的论文中忽略了可见光图像的强度信息，这可能导致低动态范围和细节损失。在后续改进中，Guo等人不仅保留了红外和可见光图像的强度信息，还保留了可见光图像的外观信息，从而提高了融合性能。
  高质量图像融合是一个模糊问题，模糊理论是通过模糊逻辑或基于模糊的方法求解模糊问题的有效工具。因此，模糊理论已成功应用于红外和可见光图像融合。该理论常用于确定红外和可见光图像融合的融合规则。模糊逻辑系统也应用于红外和可见光图像融合，模糊逻辑系统的关键概念是0到1范围的隶属函数，可用于测量图像融合性能的不确定性。
  存在其他类型的红外和可见光图像融合方法，如熵，马尔可夫随机场，形态学，以及红外特征提取和视觉信息保存。熵是一个客观指标，用于衡量从源图像传输到融合图像的信息量。

  上述红外和可见光图像融合方法大多在像素级进行，将源图像中的每个像素进行组合，直接得到融合图像。但是，图像融合也可以在特征或决策级别执行。特征级图像融合方法通常首先提取源图像的特征，然后基于提取的特征获得融合图像，用于某些特定目的，与像素级融合策略相比，具有基于提取的特征设计更智能的语义融合规则的优势。因此，红外和可见光图像融合也采用了特征级融合方。

  决策级图像融合是上述三个层次中最高的层次，也可以称为解释级或符号级图像融合。在决策级图像融合中，从每个源图像中提取信息，然后根据特定准则制定决策规则，将提取的信息进行融合，这有助于更好地理解被观察对象。在上述三个图像融合层次中，关于决策级图像融合的研究最少，决策级红外与可见光图像融合的主要应用是人脸识别。

8.镜像配准

  多传感器图像的集成可以提供复杂而详细的场景表示，从而提高后续任务的决策准确性。然而，成功的图像融合需要图像的融合严格几何对齐。这个问题被称为图像配准，这是因为不同传感器（如红外和可见光传感器）捕获的图像通常在大小、透视和视场上不同。这种对准可以通过硬件（例如，放置分束器）来实现；然而，由于成本高、可用性低，用于生成对齐图像对的特殊成像设备可能不实用，特别是对于需要大规模部署的实际应用。因此，使用基于现成的低成本可见光和红外相机的图像配准算法可能是合适的。

  图像配准已广泛应用于计算机视觉、医学图像分析、遥感等多个领域。要对齐的图像可能在不同时间从不同角度或以不同的模态拍摄，这通常涉及时间、空间和多模态配准的问题。具体来说，红外和可见光图像的配准是指多模态配准的问题。一般来说，配准方法可以分为两类，即基于区域的方法和基于特征的方法。接下来，我们简要概述了这两种类型的技术，特别是在红外和可见光图像配准的背景下。

基于区域的方法

  基于区域的方法直接处理整个原始图像的强度值。例如，在某个度量下最小化像素对应关系之间的总距离。这些方法在图像中突出细节很少的情况下是可取的，其中独特的信息是由像素强度而不是由显着结构提供的，但它们会受到图像失真、照明变化和沉重的计算复杂性的影响。基于面的方法主要有三种类型，即类相关方法、傅里叶方法和互信息方法。

• 互相关是一种经典的类相关方法，它计算两幅图像中窗口对之间的互相关，具有最大值的窗口对被认为是对应关系。为了解决多模态配准问题，Roche等人没有使用标准的图像统计，而是引入了一种基于概率论的相似性度量，即相关率，它在配准准确性和鲁棒性方面有明显的实际改进。类似关联的方法经常用于实时应用程序，因为它们很容易在硬件中实现。但是，当窗口中的图像内容受到复杂转换或包含相对平滑的区域而没有突出细节时，它们也有缺点。
• 傅里叶方法利用了频域中图像的傅里叶表示[230]。基于傅里叶位移定理的相位相关方法就是这种方法的一种表现形式，该方法最初被提出用于处理图像平移，后来扩展到考虑旋转和缩放。傅里叶-梅林变换用于解决多模态性质和空间畸变问题。与类相关方法相比，傅里叶方法具有计算效率高、对不同成像条件和频率相关噪声具有较强的鲁棒性等优点。
• 互信息方法利用互信息作为度量，最大化两个给定图像之间的统计依赖性，然后据此建立像素对应关系。这些模型在基于边缘或梯度幅度的方法难以实现的领域中效果很好，因此特别适用于配准多模态图像。然而，对于红外和可见光图像对，纹理通常有显着差异;然后，互信息可能只在一小部分而不是整个图像上起作用。因此，在应用互信息之前，会选择一些显著区域，例如具有相似边缘密度的区域或检测到的前景。此外，互信息可以对提取的特征而不是图像强度进行操作（例如，从形状轮廓采样的点）。

基于特征的方法

  基于特征的方法首先提取两组显著结构（例如特征点），然后确定它们之间的正确对应关系并据此估计空间变换，从而进一步用于对齐给定的图像对。与基于区域的方法相比，基于特征的方法对典型的外观变化和场景移动具有更强的鲁棒性，并且如果实施得当，可能会更快。一般来说，基于特征的方法包括两个主要步骤，即特征提取和特征匹配。前者是指检测突出和独特的物体，而后者是指在检测到的特征之间建立对应关系。

  基于特征的方法的第一步是提取可以表示原始图像的鲁棒性共同特征。对于表现出两种不同现象的红外和可见光图像，具有全局统计依赖性的外观特征，包括灰度/颜色、纹理（例如，Gabor滤波器）和梯度直方图（例如，SIFT和HOG），不太可能匹配。相反，表示显著性结构的特征是首选，例如角点、边缘贴图、轮廓、轨迹、视觉显著特征和混合视觉特征。在这些特征中，边缘信息是红外和可见光图像配准最受欢迎的选择之一，因为它的大小和方向可以在不同的模态中得到很好的保留。
  从两张图像中获取显著特征后，我们需要在它们之间建立正确的对应关系。通常，高级要素（如边贴图和曲面）可以离散化为点集。因此，可以减少配准问题，以确定对应关系并估计两组点特征之间的转换。解决点匹配问题的流行策略包括两个步骤：（i）计算一组假定的对应关系，然后（ii）通过几何约束去除异常值。在第一步中，通过修剪所有可能的点对应关系的集合来获得假定的对应实例。该方案是通过计算点处的特征描述符并消除描述符过于不同的点之间的匹配来实现的。但是，单独使用局部特征描述符将不可避免地导致大量错误匹配。在第二步中，使用基于几何约束的鲁棒估计器来检测和删除异常值。
  为了从假定集合中删除假匹配，在过去的几十年中，已经提出了许多方法。随机样本一致性（RANSAC）是使用最广泛的鲁棒估计器之一，它采用假设和验证方法，并试图通过重采样获得最小的无异常值子集来估计给定的参数模型。RANSAC算法在红外和可见光图像的配准方面取得了成功。然而，该模型依赖于预定义的参数化模型，当底层图像变换为非刚性时，该模型的效率会降低;当错误匹配的比例变大时，它也往往会严重退化。为了解决这些问题，最近引入了几种非参数插值方法，特别是在红外和可见光图像配准的背景下。

五 应用

六 图像融合性能指标

七 实验

八 结论和未来趋势

  博主本人研究方向是VIF中偏深度学习的，所有对传统的方法了解不深，只是做个笔记，方便学习。文章有不对之处，请各位批评指正。

---

1. J. Ma, Y. Ma, and C. Li, “Infrared and visible image fusion methods and applications: A survey,” Inf. Fusion, vol. 45, pp. 153–178,2019. ↩︎

2. Y. Liu, X. Chen, J. Cheng, H. Peng, Z. Wang, Infrared and visible image fusion with convolutional neural networks, Int. J. Wavelets, Multiresolution Inform. Process.
   16 (2) (2018) 1850018 ↩︎