CVPR 2022 | CrossPoint：3D点云理解的自监督跨模态对比学习

已于 2022-04-11 16:39:22 修改
阅读量2.4k 收藏 2
点赞数 1
分类专栏： 3D视觉从入门到精通 文章标签： 算法 大数据 编程语言 python 计算机视觉
于 2022-04-08 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yong_Qi2015/article/details/124054127
版权
本文介绍了CrossPoint，一种用于3D点云理解的自监督跨模态对比学习方法，旨在解决点云数据标注困难的问题。通过最大化点云和2D渲染图像之间的对应一致性，同时保持点云的变换不变性，CrossPoint在3D目标分类和分割等任务上表现出优越性能。实验结果表明，该方法在多个下游任务中优于其他无监督学习方法，且不受特定增强偏见影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding

代码链接：https://github.com/MohamedAfham/CrossPoint

文章链接：https://arxiv.org/abs/2203.00680

作者笔名：HT

摘 要

由于点云的不规则结构，用于各种任务（例如 3D对象的分类、分割和检测）的大规模点云数据集的人工标注通常是很费力的。无需任何人工标记的自监督学习，是解决此问题的一种很有前景的方法。在现实世界中，我们观察到人类能够将从2D图像中学习到的视觉概念映射到3D世界，进而辅助理解。受到这种见解的启发，我们提出了CrossPoint，这是一种简单的跨模态对比学习方法，用于学习可迁移的3D点云表示。它通过最大化点云和不变空间中相应渲染的 2D 图像之间的一致性，来实现3D-2D对象间的对应，同时鼓励点云模态中的变换不变性。我们的联合

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《CVPR | 跨模态对比学习在D点云理解中的自监督应用》
CodeLancerX的博客
08-12 196
跨模态对比学习作为一种自监督学习方法，能够通过学习任务之间的相关性来提取更具表征能力的特征，进而提高点云理解的准确性。本文在公开的D点云数据集上进行了一系列实验，评估了跨模态对比学习方法在D点云理解任务中的性能。实验结果表明，与传统的方法相比，基于跨模态对比学习的自监督方法在点云理解中取得了更好的效果。摘要：本文旨在介绍跨模态对比学习在D点云理解中的自监督应用，通过对D点云数据进行特征提取和匹配，实现更准确的点云理解。关键词：CVPR、D点云、自监督、跨模态对比学习、特征提取、特征匹配、点云理解。
[论文翻译]CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding
m0_70686290的博客
05-09 1365
原文地址：CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding Abstract 点云结构不规则，对于不同任务(如三维目标分类、分割和检测)的大型点云数据，人工标注往往是非常困难的。自我监督不需要任何手工标注，是解决这个问题的好方法。受人眼能够从2D图像理解3D世界的启发，我们提出CrossPoint，一种跨模态的对比学习方法来学习可转换的3D点云表示。它能在不变空间中(in
【CVPR 2022】CrossPoint： Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understa
py今天刷题了吗
05-01 548
文章目录2. 论文介绍 2. 论文介绍
一文搞懂多模态学习（多模态融合 + 跨模态对齐）
最新发布
2301_76168381的博客
03-05 3910
跨模态对齐是指利用各种技术手段，使不同模态的数据（例如图像、文本、音频等）在特征、语义或表示层面上能够达到匹配与对应。
CrossPoint：自监督3D点云场景理解（CVPR2022）
3D视觉工坊
06-16 1865
作者丨一个普通的求学者@知乎来源丨https://zhuanlan.zhihu.com/p/482785806编辑丨3D视觉工坊原文标题背景大规模人工标注的点云数据集由于其不规则性，在三维物体的分类、分割和检测等任务往往是费力的。Self-supervised学习，无需人为标注，是解决该问题的一个非常有前景的方法。在现实世界中，人类能够将从2D图像中学习到的视觉概念映射到...
CMCL（Cross-Modal Contrast Learning，跨模态对比学习）
qq_40844444的博客
12-06 1352
CMCL的核心原理是基于对比学习的思想，通过将来自不同模态（如CT和MRI）的数据进行对比，使模型能够学习到跨模态的一致特征表示，从而增强模型在多模态数据上的性能。它假设在不同模态下，相似的解剖结构或语义信息应该具有相似的特征表示，而不同的结构或信息则具有不同的表示。请注意，上述代码仅为一个简单的示例，实际应用中需要根据具体的数据格式、模型架构和任务需求进行更详细的设计和调整，包括数据预处理、更复杂的编码器结构、多模态数据的对齐等操作。有些可能结合其他学习策略（如生成式任务）来增强对比学习的效果。
CrossCLR：用于多模态视频表示的跨模态对比学习
m0_59235699的博客
01-16 1048
对比学习允许我们通过对比来自负样本集的正样本对来灵活地定义强大的损失函数。最近，该原理也被用于学习视频和文本的跨模态嵌入，但尚未充分发挥其潜力。特别是，之前的损失函数没有考虑模态内的相似性，这导致嵌入效率低下，因为相同的内容被映射到嵌入空间中的多个点。通过CrossCLR，我们提出了一种对比损失函数来解决这个问题。此外，我们根据输入嵌入定义了一组高度相关的样本，并将它们从负样本中排除，以避免出现假阴性问题。我们表明，这些原则始终如一地提高了学习嵌入的质量。
（2021|CVPR，XMC-GAN，对比学习，注意力自调制）用于文本到图像生成的跨模态对比学习
qq_44681809的博客
12-26 557
为改进本文到图像对齐，本文提出 XMC-GAN。它通过多个对比损失来捕捉模态间和模态内的对应关系。它使用注意力自调制生成器，强化文本与图像的对应关系，以及一种对比鉴别器，既进行评判又作为对比学习的特征编码器。
浅读CVPR2022-CrossPoint
m0_55038143的博客
03-16 1351
CrossPoint的学习笔记
CVPR 2022 论文列表（持续更新）
热门推荐
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
【蒸馏（1）】UniDistill：用于BEV 3D检测的通用跨模态蒸馏框架！
Hali_Botebie的博客
02-21 1014
在本文中，我们提出了一个通用的跨模态知识蒸馏框架 (UniDistill) 来提高单模态检测器的性能。具体来说，在训练期间，UniDistill 将教师和学生检测器的特征投射到 Bird’s-Eye-View (BEV) 中，这是不同模态的友好表示。然后，计算三个蒸馏损失以稀疏对齐前景特征，帮助学生从老师那里学习，而不会在推理过程中引入额外的成本。
DefRec_and_PCM：点云上域自适应的自我监督学习
02-12
在点云上进行域自适应的自我监督学习 介绍 自我监督学习（SSL）可以从未标记的数据中学习有用的表示形式，并已有效地应用于图像的域自适应（DA）。 尚不知道是否以及如何利用它来进行3D感知领域的适应。 在这里，我们描述了对点云上的DA的SSL的首次研究。 我们引入了一个新的借口任务系列，即“变形重构”，该变形任务是由模拟到真实转换中遇到的变形所激发的。 关键思想是使输入形状的区域变形并使用神经网络对其进行重构。 我们设计了三种类型的形状变形方法：（1）基于体积：基于输入空间中的接近度的形状变形； （2）基于特征的：使形状上形状相似的区域变形； （3）基于采样：基于三个简单采样方案的形状变形。 作为单独的贡献，我们还针对点云开发了一种基于混合训练过程的新方法。 对综合和真实家具数据的六个领域适应性进行的评估表明，与以前的工作相比有很大的改进。 使用说明 克隆仓库并安装 git clone ht
UNIMO：通过跨模态对比学习实现统一模态的理解和生成
weixin_51697828的博客
12-21 613
现有的预训练方法或侧重于单模态任务，或侧重于多模态任务，不能有效地相互适应，只能利用单模态数据或有限的多模态数据。作者提出了统一模态预训练体系架构UNIMO，可以有效地适应单模态和多模态的理解生成任务。UNIMO利用大规模自由文本语料库和图像集来提高视觉文本理解能力，利用跨模态对比学习（CMCL）将文本和视觉信息整合到统一语义空间中，形成一个由图像和文本组成的“图像-文本对”语料库。UNIMO借助丰富的非配对单模态数据，通过允许文本视觉知识在统一语义空间中相互增强，从而学习到更泛化的表示。实验结果表明，UN
CrossCLR: Cross-modal Contrastive Learning for Multi-modal Video Representations, 2021 ICCV
BachelorSC ' s Notes
03-06 3524
**本文内容仅代表个人理解，如有错误，欢迎指正** 1. Points 这篇论文主要解决两个问题 1. 跨模态对比学习(Cross-modal Contrastive learning)更注重于不同模态下的数据，而非同一模态下的数据。 - 也就是说，将不同模态下的数据投影到Joint space时，希望paired samples(eg, Image1和Text1)之间的距离可以尽可能地小，unpaired samples(eg, Image1和Text2)之间的距离可以尽可能地大。而忽略了一个问题
【CMCL】多模态情感识别的跨模态对比学习
weixin_45962681的博客
11-06 1850
近年来，多模态情感识别因其能够通过整合多模态信息来提高情感识别的准确性而受到越来越多的关注。然而，模态差异导致的异质性问题对多模态情感识别提出了重大挑战。在本文中，我们提出了一个新的框架——跨模态对比学习（CMCL），它具体而言，我们利用实验结果表明，我们的方法在三个基准数据集上达到了最先进的性能，并且优于现有的基线模型。我们的工作证明了跨模态对比学习和数据增强在多模态情感识别中的有效性，并为该领域的未来研究提供了有价值的见解。
百度UNIMO模型--统一模态理解、跨模态对比学习
zephyr_wang的博客
05-25 834
我们提出了UNIMO（UNIfied-MOdal ），可以同时使用单模态数据和多模态数据，在理解和生成任务。
【跨模态】【对比学习】CLIP：文本监督CV的预训练(2021)
qq_45752541的博客
11-13 5592
介绍CLIP模型及其下游应用
点云深度学习方法的比较与分析
GfEmacs_Lisp的博客
09-20 330
该方法的代码实现相对简洁，容易理解和使用。综上所述，PointNet和PointCNN都是有效的点云深度学习方法。从代码实现上来看，PointNet的结构相对简洁，只包括了基本的MLP和全局最大池化层。而PointCNN的结构则更加复杂，引入了卷积层和特征传递层，以利用点云的局部结构信息。PointNet和PointCNN是两种常用的点云深度学习方法，它们在点云数据的特征提取和分类任务上表现出色。然而，值得注意的是，PointCNN的代码实现相对复杂，对于初学者而言可能需要花费更多时间去理解和使用。
跨模态学习
lovezcyzmd_csdn的博客
08-03 1211
A 图像部分:resnet18(预训练)得到 51277 的 feature map,使用 tensorly 库函数进行分 解重组( 大概 ),得到 51277 的 feature map,为每一张特征图建立一个单分类器(共 512 个),过滤掉 重复即为原始图像分类结果 B 文本部分:利用 bert 模型(预训练,利用 pytorch_transformers)进行多标签分类。 C 融合部分:利用 A 得到的 2561 的 fc 层,与 B 得到的 2561 的 fc 层,进行一维卷积,得 到的结果进行.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3Ｄ视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值