遥感图像处理笔记之【论文：一种图像融合新方法】

遥感图像处理学习（12）之【论文：一种图像融合新方法】

---

前言

遥感系列第12篇。遥感图像处理方向的学习者可以参考或者复刻

几天前开通了博客园账号，https://www.cnblogs.com/hassle
博客园没有广告，自己设定的UI也更好看一些，之后就两边同步更新了

本文初编辑于2024年1月26日CSDN平台

总结：原论文提出了一种数据融合的新方法，使得模型使用HSI和LIDAR数据进行图像分类任务。

啊，这是什么?Transformer？融一下

啊，这是什么?CNN？融一下

啊，这是什么?Resnet？融一下

---

论文标题：Multimodal Fusion Transformer for Remote Sensing Image Classification

论文地址：https://arxiv.org/pdf/2203.16952.pdf

---

一、INTRODUCTION（介绍）

对数据集的探究：

遥感图像任务包括(但不限于)土地覆盖分类、林业、矿物勘探与测绘、物体/目标检测、环境监测、城市规划、生物多样性保护、灾害响应和管理。

但是，单一传感器数据往往不足以识别某些应用领域中感兴趣的对象。那么，可以使用多传感器设备进行同一区域的数据采集。

HSI能够提供对图像中丰富的光谱和空间信息，

光探测和测距(LiDAR)收集深度和强度信息，测量物体在地球表面的高程，允许区分具有相同光谱特征但高程不同的土地覆盖对象，如道路和屋顶内置水泥。

对传统方法的探究：

传统方法已广泛应用于HSI分类，即使训练样本有限。这些方法大多分为两步，首先，它们在特征空间中表示 HSI 数据以降低维度并提取一些信息量很大的特征；然后，提取的特征被发送到光谱分类器。

但是，当训练数据变得复杂时，传统方法会遇到性能瓶颈，因为它们在数据拟合和表示能力方面存在局限性。

对CNN方法的探究

基于深度学习的监督技术在RS图像分类Tasks中往往表现出优越性。深度学习方法可以平衡算法的准确性和稳健性。同时，浅层学习方法依赖于从训练或观察数据中获得的先验信息。

但是，CNN 几乎无法捕获序列属性，尤其是中间和长期依赖关系。这导致性能下降，尤其是当数据包含许多具有相似光谱特征的类时。

虽然，RNN可以通过按顺序逐波段累积来自 HSI 的光谱特征来准确建模，但是，因为 HSI 包含许多样本，RNN 不能同时训练模型，这限制了分类性能。

对Transformer方法的探究

虽然，Transformer 擅长捕获光谱特征中包含的信息，但是，它不能平等地表征局部语义元素，并且不能充分利用空间信息。

提出自己的方法

为了充分利用HSI和其他多模态数据来源的信息，如SAR、DSM、LiDAR和DSM，提出自己的网络MFT。

二、PRE-PROCESSING OF HSI AND LIDAR DATA(对HSI和LIDAR的预处理工作)

对数据集格式介绍

HSI数据格式是
$$X_H:M\times N\times B$$
M、N为空间二维坐标，B为光谱数

LIDAR数据格式是
X L : M × N