Contrastive Learning Based on Transformer for Hyperspectral Image Classification

自娱自乐对比学习高光谱图像分类第二篇

1. Introduction

在高光谱图像分类中 3D 比 2D 好？不知道这句话怎么得来的。
无监督学习：

• 表示学习（AE， GAN）
• 判别学习 – contrastive learning(在背景介绍里主要说本文要表达的东西的优缺点，而不是文献综述)
  • 优点：能够很方便的迁移到下游任务
  • 缺点：数据增强不通用；2D对高维数据的提取效果不好。
• 本文创新点
  • 数据增强
  • transformer
  • BYOL

2. Related Work

Contrastive Learning
Transformer

3. Proposed Method

从 f 弄出来，既是 2层的 transformer，直接提取特征用于分类，不用后面的projection 了。

augmentation

• horizontal flip or vertical flip
• random rectangular area erasure and random point erasure

4. Experimental Descriptions and Result Analysis

The input size is 27 × 27 × 30 for IP and 27 × 27 × 15 for UP and SV.
training dataset and test dataset

• For IP and UP 10%. For SV, 5%.

流程

• 无监督特征提取+SVM

没有啥分析模型的实验。

5. Conclusions

背景介绍和上一篇好像。
方法上还是比较简单和通俗易懂的。
主要是数据增强的创新，在现有模型（AE，CNN，transformer）的基础上。