遥感图像处理笔记之【图像融合综述】

遥感图像处理学习（10）之【多模态图像融合综述】

---

前言

遥感系列第10篇。遥感图像处理方向的学习者可以参考或者复刻

本文初编辑于2024年1月16日
本文再编辑于2024年1月17日：修改了论文域名地址

总结：多模态遥感图像相关的中文综述，真是少的可怜

---

文章标题：以图像为主的多模态感知与多源融合技术发展及应用综述

文章地址：https://kns.cnki.net/kcms2/article/abstract?v=_NV5_o307Bx7GL1DEDyyOhFK8bl94XsenRB5rtZvavZUZCiIpUu_Gl3MoHkhyB-JNQ52WFQ4V0GRgK73_4mEvLQUV1I-4Zh-RKa8AT6CD3BU4mjnXSLkF5bcgN_mTJXzWfrT5GTQwAk=&uniplatform=NZKPT&language=CHS

---

本文总结了多模态感知和多源融合技术。
中文综述，简单易懂

1.常见的成像方式

热成像

红外热成像(简称“热成像”)探测的是目标物体自身产生的热辐射。红外照相机能够利用物体的这种辐射性能来测量物体表面温度场，观察到物体外形轮廓或表面热分布。

高光谱成像

高光谱遥感成像(简称“高光谱成像”)是指利用很多很窄的电磁波波段 (通常<10 nm)从物体获取有关数据。高光谱图像集样本的图像信息与光谱信息于一身，图像信息可以反映样本的大小、形状、缺陷等外部特征，光谱信息能充分反映样品内部的物理结构、化学成分的差异。

偏振成像

平行光源照射在被测物表面形成光的反射，反射光透过偏振片后，相机的图像传感器可从多个方向采集到图像数据，最终结合成偏振度图像。偏振成像能获得图像上每一点的偏振信息

SAR

合成孔径雷达SAR（Synthetic Aperture Radar）

SAR系统观测到的是电磁波入射地球表面后反射（后向散射）的雷达脉冲的强度和相位信息，能够反映地物的表面特性和介电性质。

LiDAR

LiDAR是使用激光脉冲来测量目标与传感器之间距离的系统，采用激光雷达扫描获得点云数据。

2.多源融合技术

融合方法	典型算法
像素级融合：空域融合	主成分分析法PCA、高通滤波融合算法、IHS变换融合算法
像素级融合：变换域融合	非下采样轮廓变换NSCT、非下采样剪切波变换NSST
特征级融合	卷积神经网络CNN、脉冲耦合神经网络PCNN、稀疏表示SR
决策级融合	贝叶斯理论、D-S证据理论
混合型融合	参数自适应PCNN+卷积稀疏表示CSR、CSR+NSCT、NSST+PCNN、 鲁棒性主成分分析Robust PCA+PCNN、SR+小波变换WT

像素级融合

将融合图像的像素点一一匹配，然后在像素层次对融合图像的信息进行综合处理。该方法没有细节损失，故融合图像的清晰度较高。

像素级融合：空域融合

权值矩阵对图像像素进行加权计算，权值由人们主观决定。该方法融合速度快，适合实时处理。

像素级融合：变换域融合

该方法有较高的特征提取精度，融合效果好，但是融合所需时间较长，难以满足实时应用的需求。

特征级融合

该方法从原始影像中提取特征信息(如边缘、形状、轮廓、角、纹理、相似区域等),然后对其特定特征进行综合分析和处理，生成包含特征信息的融合图像。该方法相较于像素级融合，实时性得到了提升，且对图像配准的要求较低。

决策级融合

该方法输入为原始图像融合后的特征信息，输出为目标的决策结果。处理时间短，所需数据量少，抗噪声干扰能力强，但是需要复杂的预处理

混合型融合方法

通常混合型融合方法效果优于单一融合方法。

3.尝试过的图像融合方法

文章总结了前人的相关工作，包括但不限于：

热成像与红外图像的融合

高光谱图像与全色图像融合

高光谱图像与LiDAR数据融合

红外光强图像与偏振图像的融合

SAR与多光谱图像的融合

LiDAR点云和RGB图像图像的融合