多源数据的融合发展现状与趋势（二）——全色、多光谱、高光谱图像融合

        现有的空谱融合对象主要是全色图像与多光谱图像、全色图像与高光谱图像、多光谱图像与高光谱图像。从波段数量来说，全色图像与多光谱或高光谱图像的融合属于“一对多”的融合， 多光谱图像与高光谱图像的融合属于“多对多” 的融合。在图像融合之前，一般都要对图像进行 几何校正、正射校正等预处理，再对两幅待融合图像进行配准。

一、全色图像与多光谱图像融合

1、空间信息注入法

        这类方法通过空间变换、多尺度分析等手段提取高空间分辨率全色图像的空间信息，并将提取出来的空间信息尽可能无损的注入到低空间分辨率的多光谱图像中。

        优势：能够较好的保留光谱信息；

        缺点：由于提取的空间信息仅包含特定谱段范围内的空间结构，与低空间分辨率图像的空间

结构并不完全匹配，因此容易产生空间结构失真。

2、光谱信息注入法

        这类方法通过线性或者非线性的图像变换将高光谱分辨率的图像变换 到新的投影空间，分解为光谱成分和空间成分，并用全色图像去替换其空间成分，再经过逆变换获得融合图像。

        优势：能较好的保留空间信息

        缺点：光谱信息会产生一定的失真。

3、空谱采样建模法

        核心思想是将融合问题看作是一个逆向重建问题，通过建立源图像与融合结果之间的

关系模型，优化求解得到融合结果。

        优点：模型严谨，能够更好的保持图像的空间与光谱信息。此外，为进一步优化融合效果，在融合过程中可引入概率统计和先验约束。

        缺点：模型的求解会更加复杂。

二、全色与高光谱的融合

        由于高光谱图像空间分辨率很低，像元之间会存在混淆，多采用模型优化求解的方法来解决

三、多光谱与高光谱的融合

1、基于全色锐化的方法

        将多光谱与全色融合 的方法扩展应用在多光谱与高光谱图像的融合中。将高光谱图像的波段分组，通过传统的全色锐化方法对每个波段小组进行融合或者将高光谱波段与多光谱的波段建立分组关系，有效地将一些经典多尺度分析的方法应用于多光谱与高光谱图像的融合。

2、基于成像模型的方法

        利用了光谱分解原理，在传感器特性的约束或先验下，分别从高光谱图像和多光谱图像中获取端元信息和高分辨率丰度矩阵，来重建融合后图像，其主要的性能影响因素在于光谱基的维度和矩阵系数的估计。

3、基于深度网络的方法。

         将低分辨率图像作为深度网络的输入，通过学习低、高分辨率图像之间端到端的映射，输出高分辨率的图像。这类融合方法的 性能提升点在于构造更加合理的损失函数、处理图像残差和使用更深层次的框架结构。

        全色、多光谱和高光谱图像都是光学传感器获取的图像，它们之间的主要区别在于光谱分辨 率和空间分辨率的不同，空谱融合的目的是提升图像的光谱和空间分辨率。虽然空谱融合的研究已经发展多年，但仍存在着诸多技术难题亟待解决。

（1） 当空谱融合的图像是不同卫星获取的数据时，源图像之间的配准误差会对融合性能产生较大影响，尤其是全色图像与高光谱图像、多光谱图像与高光谱图像的融合，现有成像平台无法同时获取不同分辨率的多光谱与高光谱图像，这类图像的配准难度更大，是空谱融合亟需解决的难题。

（2） 不同成像手段光谱响应区间不一致时，图像融合过程中易产生空间和光谱结构失真，尤其是全色图像与高光谱图像的融合，由于全色图像与高光谱图像的光谱响应区间存在很大差异，融合过程中往往难以重构出真实的高分辨率空间信息。

（3） 不同成像手段间的空间分辨率和光谱分辨率差异越大，空间与光谱信息的压缩比例就越大。这说明多分辨率图像融合存在性能极限，当图像空间分辨率的比值超出某个范围时，现有方法往往难以重构出高质量的高分辨率高光谱图像。

（3） 全色、多光谱和高光谱图像的融合研究是领域内的热点，但如何将图像融合算法与实际应用问题相结合仍存在诸多问题。从应用的角度改进融合算法的性能和效率，增加融合算法的实用性，是多源遥感图像空谱融合的挑战难题，也是其未来的发展趋势。

原文：

李树涛，李聪妤，康旭东 .2021. 多源遥感图像融合发展现状与未来展望 . 遥感学报， 25 （

1 ）： 148-166