Multispectral and hyperspectral image fusion in remote sensing: A survey

遥感中的多光谱和高光谱图像融合：一项调查

把融合方法分为：全色锐化、基于分解、基于机器学习；总结了常用数据集和性能评估指标；提出未解决的问题绘制指导方针。

针对这一任务，有叫多光谱与高光谱融合、高光谱超分辨率、高光谱锐化、超锐化

---

• 全色锐化相关方法

  HS和MS图像融合的第一个方法是借用pansharpening的基于小波的技术。Pansharpening(全色锐化)是指将MS图像与分辨率更高的PAN图像进行融合，从而显示出更好的空间分辨率。Pansharpening算法可以分为四个不同的类别，即多分辨率分析、成分替换、基于变分优化和机器学习。

  使用pansharpening方法来解决不同的图像融合任务的想法已被广泛利用。

  为了使该问题适用于经典pansharpening，进一步面临的问题是波段分配问题，即应该选择哪些高空间分辨率的MS波段来提高给定HS波段的空间分辨率。（事实上，在开发pansharpening方法时，由于存在唯一的高空间分辨率图像(即PAN)，所以没有考虑这个问题。）

  针对波段分配问题提出了波段选择和波段合成两种方案

  • 波段选择

    

    主块用红框表示。其思想是根据分配算法创建组。属于给定组的所有HS波段都使用相同的MS波段增强，从而将问题转向经典pansharpening，其中PAN图像由给定的MS波段表示。为了定义分配算法，我们可以利用不同的标准，这些标准可以分为两个主要的子类别。

    类别1：静态赋值

    ​ 这种情况下使用MS和HS传感器的相对光谱响应函数（rrs）度量。计算HS波段和MS波段集之间的相似度度量。最大相似度准则用于赋值。不同的度量标准产生不同的算法。比如两个rrs的质心之间的欧氏距离的最小化。

    

    类别2：基于动态分配

    ​ 在这种情况下，相似度度量直接定义在采集的图像上(依赖于图像的算法)，从而导致不同采集的不同分配，即使来自同一对传感器。计算每个HS图像与所有MS图像集之间的相似度度量。

    

  • 波段合成

    这种软决策方案如图所示，其中主块用红框表示。其思想是从所有的MS光谱波段集合开始，为每个HS波段合成一个HR图像。合成的模型是线性的。线性组合的权重是通过最小化下采样的MS与低分辨率HS之间的均方根误差得到的。然后将合成的Vj与对应的Hj相融合就得到了融合后的 H j ^ \widehat{H_j}