对比学习第三篇,多模态对比学习
多模态的对比学习。
I. INTRODUCTION
介绍了解决小样本问题的三种途径:数据增强,迁移学习,非监督学习。
创新点:
- 多模态对比学习。
- 语义信息和结构信息迁移。
II. METHODOLOGY
创新点两个分支不是同一种数据
A. Architecture Overview
B. Unsupervised Feature Learning Framework
C. Feature Fine-Tuning for Hyperspectral Classification
- 比较早期的对比学习,类似SimCLR?
- 添加了结构损失函数提取以结构信息,好像也没有啥创新。(可以进一步细看)
III. EXPERIMENTS
A. Data Description
input size : 11118
Muufl Gulfport (MUUFL) 这个数据集没有用过
Trento dataset 这个数据集也没有用过
B. Hyperparameter Selection
-
- Analysis on s(input size)
-
- Analysis on p(PCA)
- Analysis on λ(the regularization parameter)
C. Model Comparison
D. Ablation Study
E. Effects of Training Sample Numbers
IV. CONCLUSION
多模态是一个亮点?