Infrared and visual image fusion through infrared feature extraction and visual information preserva

Infrared and visual image fusion through infrared feature extraction and visual information preservation

通过红外特征提取和视觉信息保存实现红外和视觉图像融合

作者：Yu Zhang , Lijia Zhang , Xiangzhi Bai , Li Zhang

期刊：Infrared Physics & Technology 2017

摘要

       红外图像与视觉图像的理想融合应融合红外图像的重要亮点，并保留视觉图像的大量原始视觉信息。为此，本文提出了一种通过红外特征提取和视觉信息保存，简单、快速、有效的红外和视觉图像融合算法。首先，我们利用四树分解和Bézier插值来重建红外背景。其次，通过从红外图像中减去重建的背景来提取红外明亮特征，然后通过减少冗余背景信息进行细化。为了抑制过度曝光问题，对精细的红外特征进行自适应抑制，然后添加到视觉图像上，以实现最终的融合图像。

 前言

       红外和视觉图像融合主要需要在弱光环境下进行监督， 在这种情况下，视觉图像捕获了被监督环境的大量可见信息，而红外图像通常捕获的不可见但重要的信息很少 。此外，在弱光环境下，红外图像与视觉图像的相关性往往较低，因此将红外图像与视觉图像融合的一种直观方法是将红外图像的明亮特征直接注入视觉图像。因此， 根据上述思路，本文提出了一种新的红外与视觉图像融合算法，通过红外特征提取和视觉信息保存，专为弱光环境而设计。

总体框架

       本文所提出的算法主要包括三个过程，即红外特征提取、红外特征增强和图像融合。

       首先利用四叉树分解和Bezier插值来重建红外背景，然后从红外图像中减去该背景以提取红外明亮特征。其次，通过减少背景信息和抑制过度曝光来细化红外特征。最后，将视觉图像和细化的明亮特征融合在一起，生成最终的融合图像

红外特征提取

         Bezier 插值是背景重建广泛使用的技术，它是一种通过对一些已知控制点进行插值来恢复大规模矩阵的方法。其通过在背景上采样足够的控制点来估计图像背景。最终可以生成一个平滑的凸背景，这与实际背景非常相似，是提取红外明亮特征的理想选择。

       为了准确重建红外背景，我们应该从红外背景中采样尽可能多的控制点，同时排除红外物体上的那些点。现有的控制点寻找方法是逐像素搜索控制点，不仅耗时且对噪音敏感。一种在排除红外物体点的同时采样适当的背景点的有效方法是估计红外物体的轮廓。由于四叉树分解方法已成功地用于通过生成的四叉树结构来估计对象轮廓，并且该分解过程是时间高效的。因此，我们首先采用四叉树分解的方法来估计红外物体的轮廓，并进一步用于方便地选择合适的控制点。这样，可以大大提高控制点查找的效率，并可以有效地抑制大量的噪声。

       首先，将红外图像分解成一个四叉树结构中具有合适

大小的斑块，可以粗略地估计出红外物体的轮廓。具体来

说，图像的四叉树分解通常按照以下步骤进行：首先将红

外图像初始化为四叉树结构的根斑块，如果当前斑块的最

大灰度值减去最小灰度值大于预设阈值，则应进一步分割

成四个小斑块，直到没有进一步分割或补丁大小达到允许

的最小尺寸。

       而允许的最小尺寸应该足够大以覆盖整个或大部分红

外物体，因此我们将此参数设置为红外物体的最大尺寸。

明确地，红外物体的最大尺寸是通过使用大阈值分割红

外图像来估计的 ，即前五个百分比的灰度值的平均值。

a、视觉图像

b、红外图像

c、红外图像上的分解四叉树结构

d、使用四叉树、Bezier插值重建的红外背景

e、红外图像b - 红外背景d = 红外明亮特征

f、抑制过度曝光来细化的红外特征

g、红外图像b - 视觉图像的估计背景

h、细化的红外特征f  x  红外图像b  =  最终明亮特征

i、最终融合图像

         从四叉树结构中的每个patch中统一采样16个控制点的位置（x坐标和y坐标）。控制点的灰度值被设置为对应位置的局部最小值。之所以这样设置 ，是因为四叉树结构可以确认大部分顶点位于红外背景 上，但可能有少数点位于红外物体内部，局部最小灰度值通常表示背景。之后，根据下式对对应的16个控制点的 x坐标、y坐标和灰度值进行插值，就可以重建每个patch的Bezier曲面。之后，通过组合每个Bezier曲面，可以很好地重建红外背景。

红外特征细化

       减少可能背景：

       因为红外背景通常很复杂，所以不能完美地构造红外背景，以至于提取的红外明亮特征可能仍然与不需要的背景信息混合。为了解决这个问题，我们通过减少另一种近似方法估计的可能背景信息来抑制红外特征中的背景信息。

         由于红外图像中的对象通常比视觉图像的灰度值大，因此红外图像比视觉图像更暗的区域很大可能属于背景。因此，本文利用视觉图像和红外图像的正差异部分来粗略估计可能的红外背景区域。虽然估计的背景可能非常粗糙，但它包含了大多数可能的背景区域和很少的红外明亮特征，这是理想的背景抑制。然而，从红外特征中减去所有估计的背景信息可能会失去太多的红外特征。因此，我们将估计的背景乘以适当的抑制比，从而在保留有用的明亮特征的同时，大大减少冗余的背景信息。

       过度曝光抑制：

       红外明亮特征：

       式中，β为特征抑制率。直观地说，图像的曝光度可以通过图像的最大灰度值来测量。在实际应用中，我们首先计算视觉图像和明亮特征图像BF总和的前0.5个百分比的平均值(用Aver0.5表示)，这可以表示直接组合图像的过曝光程度。

       也就是说，如果Aver0.5大于255，则当前的明亮特征可能导致融合图像过度曝光，否则明亮特征保持不变。

图像融合

       经过两个阶段的细化，红外特征变得适合图像融合。因此 ，我们最终通过直接将最终的红外明亮特征 BF(Final)  加入到视觉图像中来生成融合图像，如下式。

创新点

本文提出了一种新的红外和视觉图像融合框架, 有利于红外特征的整合和视觉信息的保存。

本文提出了一种高效且有效的红外特征提取方法，即结合四叉树分解法和Bezier插值法。

结论

       通过这种方式，融合图像不仅可以通过整合红外的明亮特征来揭示不可见但重要的红外物体，而且通过保留许多原始视觉信息来显示良好的视觉质量。对常用图像集进行的实验验证了所提出的算法在大多数情况下优于几种代表性的图像融合算法。所提出的算法简单、快速且有效，并在测试数据集上取得了最先进的结果。

不足

        由于所提出的算法通过直接将红外特征添加到视觉图像来进行图像融合，因此本文的算法主要适用于融合弱光红外和视觉图像对。

        如果红外特征提取的背景信息较多，融合图像的对比度可能会下降。

        文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！