[ TIP ] Deep Hierarchical Vision Transformer for Hyperspectral and LiDAR Data Classification

1.研究动机

• HSI分类方法难以识别具有相似光谱特征但海拔高度不同的物体（如混凝土屋顶和道路）

• LiDAR数据记录地物海拔高度信息方法具有天然优势

目前的分类方法在处理光谱长距离依赖性和空间域提取层次特征方面存在局限性

多模态数据特征级融合存在Hughes现象和不同特征间的不平衡问题，没有合适的统一架构来融合异构特征

提出一种深度层次 Vision Transformer架构，用于HSI和LiDAR联合分类

1. 利用光谱序列 Transformer 捕获光谱长期依赖性
2. 利用空间层次 Transformer 从 HSI 和 LiDAR 中提取层次空间特征
3. 利用交叉注意力机制自适应融合多模态数据

2. 主要方法

2.1 光谱序列 Transformer

从光谱维度划分patch，捕获光谱序列长距离依赖关系

2.2 空间层次 Transformer

首先利用PCA将光谱维度降低到3 ：输入数据格式：M * N * 3

1. 利用2D卷积获得 Input Embedding
   2
2. 同样利用2D卷积（深度可分离卷积）获取Q、K、V，

2.3 交叉注意力融合