Cross-Modality Contrastive Learning for Hyperspectral Image Classification

已于 2022-08-19 11:12:41 修改
阅读量646 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 高光谱遥感影像分类 文章标签： 人工智能 机器学习 深度学习
于 2022-08-17 19:30:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37808565/article/details/126391105
该博客探讨了小样本问题的解决方案，重点介绍了多模态对比学习方法。文章提出两个创新点：使用不同数据类型的分支进行对比学习以及语义和结构信息的迁移。实验部分详细分析了输入尺寸、PCA参数和正则化参数的影响，并通过模型对比和消融研究验证了方法的有效性。结论指出，多模态学习是解决此类问题的一个关键亮点。

对比学习第三篇，多模态对比学习
多模态的对比学习。

I. INTRODUCTION

介绍了解决小样本问题的三种途径：数据增强，迁移学习，非监督学习。
创新点：

  • 多模态对比学习。
  • 语义信息和结构信息迁移。

II. METHODOLOGY

在这里插入图片描述
创新点两个分支不是同一种数据

A. Architecture Overview
B. Unsupervised Feature Learning Framework
C. Feature Fine-Tuning for Hyperspectral Classification
- 比较早期的对比学习，类似SimCLR？
- 添加了结构损失函数提取以结构信息,好像也没有啥创新。（可以进一步细看）

III. EXPERIMENTS

A. Data Description
input size : 11118
Muufl Gulfport (MUUFL) 这个数据集没有用过
Trento dataset 这个数据集也没有用过

B. Hyperparameter Selection

    1. Analysis on s（input size）
    1. Analysis on p（PCA）
  • Analysis on λ（the regularization parameter）
    C. Model Comparison
    D. Ablation Study
    E. Effects of Training Sample Numbers

IV. CONCLUSION

多模态是一个亮点?

高光谱分类论文解读分享之基于多模态融合Transformer的遥感图像分类方法
sinat_41421587的博客
01-09 3144
IEEE TGRS 2023：基于多模态融合Transformer的遥感图像分类方法
Cross Hyperspectral and LiDAR Attention Transformer
sinat_41421587的博客
03-31 522
然而，基于电流互感器的遥感技术主要关注单模态数据，限制了其充分利用不断增长的多模态地球观测数据的潜力。我们提出了一种新颖的多模式深度学习框架，可有效融合遥感（RS）数据，旨在改善土地利用和土地覆盖（LULC）识别。为了增强不同模态之间信息的准确交换，我们使用 Cross-HL 自注意力模块融合了它们的补丁投影。为了证明 Cross-HL 在所提出的多模态深度学习框架中的优越性，我们对三个多模态 RS 基准数据集：Houston、Trento 和 MUUFL 进行了广泛的实验。跨域特征的关联性提取。
matlab如何敲代码-MUUFLGulfport:MUUFLGulfport高光谱和LIDAR数据：此数据集包括HSI和LIDAR数据，评分
05-23
matlab如何敲代码 该存储库包含： MUUFL湾港高光谱和LiDAR数据收集文件 校园1图像的MUUFL Gulfport高光谱数据场景标签 在GoogleEarth KML中标记了此场景的带有地理标签的照片和目标地面的真实位置 公牛目标检测得分码 注意：如果在任何出版物或演示文稿中使用了此数据，则必须引用以下参考文献： P. Gader，A。Zare，R。Close，J。Aitken，G。Tuell，“ MUUFL湾港高光谱和LiDAR机载数据集”，佛罗里达大学，盖恩斯维尔，佛罗里达，技术。 代表REP-2013-570，2013年10月。 如果在任何出版物或演示文稿中使用了场景标签，则必须引用以下参考文献： X. Du和A. Zare，“技术报告：MUUFL Gulfport数据集的场景标签地面真相图”，佛罗里达大学，盖恩斯维尔，佛罗里达州，技术。 发行号：20170417，2017年4月。可用：。 如果任何出版物或演示中使用了任何此评分或检测代码，则必须引用以下参考文献： T. Glenn，A。Zare，P。Gader，D。Dranishnikov。 （2016）。 Bull
Hyperspectral Imagery Classification Based on Contrastive Learning
qq_37808565的博客
08-18 662
Hyperspectral Imagery Classification Based on Contrastive Learning
Contrastive Learning Based on Transformer for Hyperspectral Image Classification
qq_37808565的博客
08-17 763
Contrastive Learning Based on Transformer for Hyperspectral Image Classification
09-Cross-Modal Representation
zzk0126的博客
09-07 221
Kottur等人[30]还提出了一种神经模型来从视觉信息中捕获细粒度的语义。我们不关注真实的像素，而是考虑视觉背后的抽象场景。该模型以一对视觉场景和一个相关的单词序列（I，w）作为输入。在每个训练步骤中，在单词序列w上使用一个窗口，形成一个子序列Sw。Sw中的所有单词将使用单热编码输入到输入层，因此输入层的维度是|V |，这也是词汇表的大小。然后将单词转换为它们的嵌入，而隐藏层是所有这些嵌入的平均值。隐层的大小为NH，这也是单词嵌入的维数。
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2783
CVPR2022完整论文列表
AAAI—24—Main—paper（关于Multi—Modal的全部文章摘要）
Conger_2002的博客
10-12 935
我们生活在一个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态学习多模态机器学习旨在处理学习（视觉，听觉，语言等）不同模态融合交织的信息。
【ECCV2020】完整论文集part2
TomRen
07-18 7848
ECCV2020 接收论文完整列表 看论文学CV
Deep Few-Shot Learning for Hyperspectral Image Classification
weixin_42402402的博客
08-28 1178
Deep Few-Shot Learning for Hyperspectral Image Classification 作者：Bing Liu , Xuchu Yu, Anzhu Yu, Pengqiang Zhang, Gang Wan, and Ruirui Wang 出处：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 发表时间：2019 1.1摘要与贡献： 目前，深度学习方法已被成功用于高光谱图像（HSI）分类。然而，想要训练一个深度学习.
数据融合matlab代码-HRWN:本示例实现了本文的综述[使用分层随机游走和深度CNN架构对高光谱和LiDAR数据进行联合分类]
05-22
数据融合matlab代码用于高光谱和LiDAR分类的分层随机行走网络 本示例实现了本文的综述[使用分层随机游走和深度CNN架构对高光谱和LiDAR数据进行联合分类] 使用分层随机游走和深层CNN架构的高光谱和LiDAR数据的联合分类方法。 达到了很高的分类精度。 对休斯顿，特伦托和MUUFL的数据集进行了评估。 先决条件 Python 2.7或3.6 配套 pip install -r requirements.txt 用法 数据集链接 在2013年IEEE GRSS数据融合竞赛中引入了Houston数据集。 数据集链接来自 作者要感谢P. Ghamisi博士提供了Trento数据。 可以从获得MUUFL Gulfport高光谱和LIDAR数据[1] [2]。 [1] P. Gader，A。Zare，R。Close，J。Aitken，G。Tuell，“ MUUFL湾港高光谱和LiDAR机载数据集”，佛罗里达大学，盖恩斯维尔，佛罗里达州，技术。 代表REP-2013-570，2013年10月。 [2] X. Du和A. Zare，“技术报告：MUUFL Gulfport数据集的场景标签地
CrossCLR: Cross-modal Contrastive Learning for Multi-modal Video Representations, 2021 ICCV
BachelorSC ' s Notes
03-06 3727
**本文内容仅代表个人理解，如有错误，欢迎指正** 1. Points 这篇论文主要解决两个问题 1. 跨模态对比学习(Cross-modal Contrastive learning)更注重于不同模态下的数据，而非同一模态下的数据。 - 也就是说，将不同模态下的数据投影到Joint space时，希望paired samples(eg, Image1和Text1)之间的距离可以尽可能地小，unpaired samples(eg, Image1和Text2)之间的距离可以尽可能地大。而忽略了一个问题
【亲测免费】 MUUFL Gulfport 数据集开源项目常见问题解决方案
gitblog_01145的博客
01-25 1082
MUUFL Gulfport 是一个开源的数据集项目，它包含了高光谱（HSI）和LiDAR数据。这些数据集通常用于图像识别、目标检测和场景分类等研究领域。项目的主要编程语言是 MATLAB，同时也包含了一些用于数据处理和目标检测的算法实现。 ## 二、新手常见问题及解决方案 ### 问题一：如何获取并加载MUUFL Gulfport数据集？ **解决步骤：** 1. 首先，确保你已经安装了G...
遥感地物分类多模态数据集
weixin_43919753的博客
03-13 8076
遥感地物分类多模态数据集
【亲测免费】 MUUFL Gulfport 开源项目教程
gitblog_00021的博客
09-13 1392
MUUFL Gulfport 是一个包含高光谱和激光雷达数据的开源项目，由 University of Florida 的 GatorSense 团队开发。该项目提供了用于目标检测和场景分析的数据集、评分代码、目标检测算法以及相关工具。数据集包括了 Gulfport 校园的高光谱图像、激光雷达数据、场景标签和目标地面真值信息。 ## 2. 项目快速启动 ### 2.1 环境准备 在开始之前，...
2025-3-15 | 论文分享 | M³amba: CLIP-driven Mamba Model forMulti-modal Remote Sensing Classification
最新发布
qq_55953518的博客
03-17 1969
4.融合特征：多张特征输入输出一个融合特征，用attention，若是有顺序，加上position embedding。使用CLIP（ViT-B/16）图像编码器提取多模态图像的语义特征，并通过模态特定适配器增强模态感知能力。C：无监督一致性损失：移除后，模型性能显著下降，表明其对模态一致性的增强效果。kappa (κ)：模型生成的分类图与地面真相之间的一致性的统计度量。结合CLIP的语义提取和Mamba的高效建模，提出一种。2.RSMamba:都是分类，单模态和多模态的区别。
高光谱图像处理笔记——数据集信息读取
路边的石头
02-15 3091
clsAll　　　　所有类的光谱信息 posAll　　　　所有类的位置信息 label　　　　　所有分类标记 imGIS　　　　ＧＩＳ数据 im 　　　　　 剔除水蒸气波段后的数据集 im1 = multibandread('92AV3C.lan',[145,145,bandnum],'uint16',128,'BIL','ieee-le');        读取数据集中数据 im1 (:...
Spectral–Spatial–Language Fusion Network for Hyperspectral, LiDAR, and Text Data Classification
Happy_Bug__的博客
09-24 953
论文阅读笔记
cross-modality fusion transformer for multispectral object detection
09-16
跨模态融合变压器用于多光谱目标检测是一种先进的目标检测方法。多光谱图像由不同波段的传感器捕获，每个波段提供了目标的不同特征信息。传统的目标检测算法往往局限于单一光谱波段，无法在多光谱图像中有效提取目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值