遥感图像处理笔记之【多模态遥感图像综述】

遥感图像处理学习（9）之【多模态遥感图像综述】

---

前言

遥感系列第9篇。遥感图像处理方向的学习者可以参考或者复刻

本文初编辑于2024年1月15日
本文再编辑于2024年1月17日：附上“对现有工作分类”一节的补充文字说明

总结：为什么要做这么冷的课题

你知道我要说什么

---

论文标题：From Single- to Multi-modal Remote Sensing Imagery Interpretation: A Survey and Taxonomy

论文地址：https://link.springer.com/article/10.1007/s11432-022-3588-0

---

作者在文末表示，这是第一篇讲述多模态遥感图像发展的概述，而该论文发布于2023年4月。
好棒啊，米娜桑。这是一个很新鲜的研究领域，一定有很多前人没有探索过的领域

要造航母了

部分专有名词翻译参考文章：
【论文阅读：multimodal remote sensing survey 遥感多模态综述】
一开始就是看的这个中文翻译删减版，还以为中文看的能轻松点，但是专有名词太多，看不太懂。于是去找原论文看，结果原论文更是全程说书，看的头大。
这篇是极度精简版，有看不懂的地方直接去原论文找对应位置的去看吧。

---

本文提出了对目前多模态遥感图像任务的一种分类方法。

本文将MRSII（Multi-modal Remote Sensing Imagery Interpretation）面临的挑战进行了5分类,分别是：

Alignment（配准）

Fusion（融合）

Representation（重建）

Translation（模态转换）

Co-learning（协同学习）

后面是对5大分类的各自的小分类

---

Alignment（配准）

Alignment（配准）分为Spatial alignment（空间配准）、Temporal alignment（时间配准）和Cross-element alignment（跨元素配准）3个方式。

空间配准，是图像配准的主要过程，有无监督方法、半监督方法和监督方法。文章中提到随着深度学习的发展，监督方法成为了Spatial alignment的主流方法。

时间配准，致力于多模态图像对中的元素对齐，其网络结构分为对称结构和非对称结构。

跨元素配准，致力于遥感图像模态和非遥感图像模态的对齐，根据其配准目的，分为场景增强和人机交互。

---

Fusion（融合）

Fusion（融合）分为像素级融合、特征级融合和决策级融合，这里是级别的分类，而不是方法的分类。

文章中对级别的分类没有讲得太详细，我的下一篇文章会结合另一篇文章讲级别的分类。

Fusion（融合）分为Homogeneous Data Fusion（同构数据融合）和Heterogeneous Data Fusion（异构数据融合），这里是方法的分类。

同构数据融合，分为Spatial reference（空间参照）和Spatio-temporal reference（时空参照）两个方法。

空间参照，方法有Panchromatic sharpening（全色锐化）、Linear optimization（线性优化）和deep learning-based（基于深度学习）三种算法类型。

时空参照，是空间参照方法的延申。

Heterogeneous Data Fusion（异构数据融合）分为Feature stacking-based（基于特征堆叠）、Subspace-based（基于子空间）和Deep learning-based（基于深度学习）三个方法。

文章总结，同构数据融合技术成熟，容易实现，异构数据融合有很多难点。

---

Representation（重建）

Representation（重建）分为Joint Representation（联合表示）、Coordinated Representation（协同表示）和Encoder-decoder Representation（编码器-解码器表示）。

联合表示，将不同的模态的特征映射到同一个表征空间。该方法适合在不同模态的数据平衡时使用。

协同表示，在不同模态单独进行学习，但是用统一限制来协调。该方法适合在某个模态数据缺失时使用。

编码器-解码器表示，将不同的模态转换成同一种模态，再映射到同一个表征空间。该方法适合在数据不平衡时使用。

---

Translation（模态转换）

Translation（模态转换）分为Cross-sensor translation（跨传感器转换）和Cross-element translation（跨元素转换）。

这里太抽象了，我也看不懂。

---

Co-learning（协同学习）

Co-learning（协同学习）分为Transfer learning（迁移学习）、Co-training（协同训练）和Few-shot learning（小样本学习）。

迁移学习，是最常用的方法，在大规模自然语言场景训练预训练模型，并将该预训练模型作为解释模型的骨干。

协同训练和小样本学习没有详细介绍。

文章总结，协同学习用于数据源中目标数据缺失和区域缺失两种情况。

---

对现有工作的分类

这里算是文章的重点部分

文章在前面讲解了完整的一套分类方式，而在这里文章以自己提出的分类方法，对MRSII数据集和相关工作进行分类

前面造牛刀，这里杀鸡

以Alignment（配准）作为一级分类，以实现的Task（任务）作为二级分类，后面再附上不同的论文和对应的数据集

---

多模态遥感图像技术应用

这里简单提了一下相关应用，内容不多也不是重点，简单提一嘴吧。

现有的应用：土地覆盖分类、城市规划、农业和生态学。

未来的应用方向：多模态图像恢复、三维重建、土地覆盖和检测、异构图像长时变化检测、场景预测和补充、跨元素分析。