数字图像融合简介

       图像融合是将源自不同传感器的多幅图像中的重要信息融合到一幅图像中的过程。图像融合可以克服单一传感器图像的局限性和差异性，获取更为全面和准确的场景描述，提高图像的清晰度和可理解性，以便进一步地进行图像的分析和处理。图像融合技术初期主要集中应用于军事安全领域。例如，通过可见光图像和红外图像的融合，可增强对目标的识别度，方便对目标的检测和跟踪，用以提高战场的决策和指挥能力。由于其具有诸多优势，所以近年来随着信息技术发展图像融合应用已经不限于战场监控，而是广泛应用于医学成像、卫星遥感、气象预报等诸多关系到国计民生的重要领域中。

      不同种类的图像融合算法由低到高分为三个层次：数据级融合、特征级融合和决策级融合。数据级融合也称像素级融合，是指直接对传感器采集的数据进行处理而获得融合图像的过程，是目前图像融合研究的重点之一。其优点是能尽量地保持源图像信息，提供其他融合层次所没有的详细场景。

1．像素级图像融合

像素级图像融合的基本过程：首先对图像进行预处理，然后将预处理后的图像像素信息直接进行综合分析从而进行融合。该融合方法对多源图像中目标和背景等信息直接进行融合处理，能够保持尽可能多的现场数据，提供尽可能多的细节信息。但其对设备的要求较高，并且需处理大量的数据。图1-1为像素级图像融合的基本结构。

                                       图 像素级图像融合

2．特征级图像融合

    特征级图像融合的基本过程：首先对图像进行预处理，然后将预处理后的图像信息进行特征提取，最后对图像特征信息进行综合分析从而进行融合。该融合方法可以压缩信息从而使其具有良好的实时性，同时能够保留适量的重要信息，但是该方法损失的信息较多。

                                  图   特征级图像融合

3．决策级图像融合

决策级图像融合的基本过程：首先对图像进行预处理，然后对将预处理后的图像信息进行特征提取和特征分类，最后根据一定的准则对分类后的图像特征信息进行融合。该方法实时性良好，而且容错能力较高。但由于需要大量的决策系统，代价最大，损失的信息最多。图1-3为决策级图像融合的基本结构。

                          图  决策级图像融合

传统图像融合方法

      像素级图像融合方法通常可以分为四类：空间域算法、变换域算法、基于低秩矩阵的融合算法和仿生图像融合算法。空间域算法是直接对图像的像素进行简单的处理，而变换域算法则是针对于多尺度变换的变换系数进行处理的方式，基于低秩矩阵的图像融合算法主要通过对图像的低秩矩阵特征进行融合，再利用低秩恢复算法得到最终的融合图像，而基于仿生算法的图像融合算法则利用仿生算法进行图像融合，例如蚁群算法，神经网络等。

1．空间域算法

    常用的空间域算法包括：加权平均法、PCA等。

2．变换域算法

      变换域算法是先对源图像进行图像变换，然后再对变换域系数进行融合，得到融合图像的变换系数，最后再进行逆变换重构融合图像。目前基于变换域的图像融合算法是众学者们的研究热点。本书介绍的图像融合算法也是基于变换域的图像融合算法。常用的基于变换域的图像融合算法有：基于金字塔变换、基于小波变换、以及基于多尺度几何变换的图像融合算法。

3．基于低秩矩阵的融合算法

      图像融合通过合并多个传感数据中聚焦良好的清晰部分来提供更可靠、更精确的信息，主要应用于机器视觉、数码相机、目标识别等领域。虽然，各国学者已经提出了大量的图像融合方法，但是，大部分的融合方法都没有涉及图像的低秩性。并且，这些算法常常导致融合图像出现失真或信息丢失。为了克服这一缺点，有学者采用加权核范数最小化方法结合图像自相似性来实现多聚焦图像融合。首先对源图像分块，并通过块匹配搜索源图像的非局部相似块。其次，将这些相似块堆叠成一组，对每个参考块都进行上述的操作，从而形成一个块组矩阵。然后，由图像自相似性获得源图像的共享相似块，并对共享相似块中块组进行奇异值分解，通过奇异值取大进行图像融合。最后，进行低秩矩阵的恢复算法得到最优解,将矩阵按照堆叠顺序进行复位，从而得到最终的融合图像。实验结果表明，此算法在主观视觉效果和客观评价指标上优于其它算法。

4．仿生融合算法

      自然界的群体为了生存，通常具有难以想象的智慧，蚂蚁的觅食、鱼群的迁移、蜂群的采花酿蜜，人类学习的能力等等。这些机制带了新的信息处理手段的突破，从而创造更多的信息处理方法，包括蚁群算法、鱼群算法、蜂群算法和深度学习等理论。这些理论在以前受到计算时间的限制，而不能得到很好的推广。随着分布式计算和大数据计算时代的到来，算法运行的时间被大大的降低，从而给这些算法的广泛应用带来了希望。本书主要介绍了几种基于上述算法的图像融合算法，以拓展读者的知识面。

图像融合存在的问题

      图像融合技术作为一个涵盖了多种学科的综合技术，近年来在多个领域都得到了广泛的应用。图像融合的研究受到了国内外学者的广泛关注，但是仍有许多问题亟待更深入地研究。

1．图像配准方法的研究

图像配准是图像融合的前提，配准的精度直接影响了融合图像的质量，但目前不存在一种配准方法能适用于各种图像，因此图像配准是需要进一步的研究。

2．普适性融合算法的研究

现有的图像融合算法都只是针对某一特定图像，缺乏普适性。如何提出一种普适性的融合方法是研究的关键点之一。

3．融合图像评价方法的研究

      人们通常根据视觉感受来进行评价融合图像的质量，评价结论受主观因素影响较大，因此提出一种有效的量化评价方法是进一步的研究内容之一。

4．彩色图像融合算法的研究

      现有的融合算法绝大多数是针对灰度图像的融合算法，但是现实生活中得到的图像多数是彩色的。灰度图像的融合算法不能照搬到彩色图像，因此彩色图像融合算法亟待进一步的研究。

图像融合评价标准

       图像融合处理的目的是改善图像质量和增加融合图像的信息量，为人类的决策提供更有效的信息。但是由于人类视觉的主观性和系统的复杂性，迄今为止，还未有一种评价方法适用于所有的融合方法。目前，图像融合方法的评价标准主要分为两种：主观评价标准和客观评价标准。下面将分别介绍主观评价标准和客观评价标准。

      图像的主观评价标准可以分为相对评价和绝对评价两种。相对评价即为观察者参照参考图像对融合图像进行评价；绝对评价则为观察者根据一些给定的评价标准或自己的经验对融合图像进行评价。国际上通用的是5分制的主观评价方法。

客观评价

    客观评价是通过定量评价方法和准则对各种图像融合方法的性能做出科学、客观的评价，具有成本低、易于实施等优点。目前常用的客观评价指标主要有以下几种：EN (Entropy, 熵)、STD(Standard deviation, 标准差)、AVG (Average gradient, 平均梯度)、MI(Mutual Information, 互信息)、Q^AB/F度量、SF (Spatial frequency, 空间频率) 和SSIM (Structural similarity, 结构相似度)。