全面超越稀疏卷积！最新点云Transformer方法准确性实现SOTA，速度快4倍

最新推荐文章于 2025-04-08 23:17:01 发布
最新推荐文章于 2025-04-08 23:17:01 发布
阅读量4k 收藏 40
点赞数 24
分类专栏： 人工智能干货 深度学习干货 文章标签： 人工智能 机器学习 深度学习 论文 点云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/136717430
版权
本文探讨了Transformer在图像处理中如何有效处理点云数据的不规则性和无序性，特别是在点云分类、分割、检测等任务中的优势。重点介绍了FlatFormer、OctFormer和MGT等高效且创新的Transformer架构，以及它们在性能和效率上的提升。PointCT则展示了在弱监督下进行点云语义分割的新方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在图像处理领域，Transformer能够有效应对点云数据的不规则性和无序性，并且通过自注意力机制，捕捉全局信息，从而更好地理解点云数据的整体结构和特征。因此，将Transformer应用于处理三维点云数据的任务已经成为了一种趋势。

对比稀疏卷积，点云Transformer拥有对非结构化数据的处理能力、较大的感受野、高效的设计和全局注意力机制。鉴于这些优势，研究者已经提出了多种基于Transformer的架构用于点云分类、分割、检测、跟踪、配准以及补全等任务。比如MIT&交大&清华联合提出的FlatFormer。

  • FlatFormer：一个非常高效的Transformer方法。比（基于Transformer的）SST快4.6倍，比（稀疏卷积的）CenterPoint快1.4倍。是第一个在边缘GPU上实现实时性能的点云Transformer。

本文分享12种点云Transformer创新方案，包含今年最新，原文以及开源代码已附，并简单提炼了方法和创新点，希望可以为同学们提供新的思路。

论文原文以及开源代码需要的同学看文末

FlatFormer

FlatFormer: Flattened Window Attention for Effcient Point Cloud Transformer

方法：FlatFormer采用了基于窗口的排序方法将点云扁平化，并将其分割成等大小的组，而不是等形状的窗口。然后，在每个组内应用自注意力机制提取局部特征

最低0.47元/天 解锁文章
ICCV2023最新！MemorySeg：激光雷达语义分割SOTA！
3D视觉工坊
11-16 299
作者：| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者总结本文提出了一种在线激光雷达语义分割框架MemorySeg，它利用三维潜在记忆来改进当前帧的预测。传统的方法通常只使用单次扫描的环境信息来完成语义分割任务，而忽略了观测的时间连续性所蕴含的上下文信息。该框架旨在解决在激光雷达表示...
具有HiLo注意力的快速视觉Transformer
AI浩
01-31 943
视觉Transformer（ViTs）在计算机视觉领域引发了最新且最重要的突破。其高效设计大多以计算复杂度的间接指标，即浮点运算数（FLOPs）为指导，然而，该指标与吞吐量等直接指标之间存在明显差距。因此，我们建议使用目标平台上的直接速度评估作为高效ViTs的设计原则。特别是，我们引入了一种简单且有效的ViT——LITv2，在各种不同模型尺寸下，LITv2均以更快的速度优于现有的最先进方法。LITv2的核心是一种新颖的自注意力机制，我们称之为HiLo。
PointNet 和 PointTransformer 的3D点云分类与分割
m0_63137171的博客
06-23 1321
3D点云
14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
2401_82426425的博客
01-31 6780
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
跨数据集配准SOTA，解锁LiDAR点云配准中的泛化能力
最新发布
人无远虑，必有近忧
04-08 133
本文揭示了LiDAR场景中不一致的几何表示导致交叉注意力模块限制了网络的泛化能力。基于这一发现，我们提出了UGP，一种剪枝框架，旨在增强LiDAR点云配准的泛化能力。UGP消除了交叉注意力，引入了渐进式自注意力模块和BEV特征提取模块，使网络能够优先考虑局部空间关联并捕捉场景元素的语义信息。这减少了点云中的歧义，并提升了泛化性能。大量实验表明，我们的方法有效应对了不同数据分布带来的挑战，包括跨距离和跨数据集场景。p_ip_j。
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 48万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
麻省理工！FlatFormer: 一种高效的点云Transformer
CV_Autobot的博客
02-25 1381
作者| 汽车人 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/607958769?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：https://arxiv.org/pdf/2301.08739.pdf作者单位：麻省理工学院 上海交通大学 清...
回顾60多种transformer研究，一文总结遥感领域最新进展
CV_Autobot的博客
11-03 680
编辑|机器之心点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！过去十年，基于深度学习的算法在遥感图像分析中得到广泛应用。最初引入到 NLP 领域的 transformer 已经渗透到计算机视觉领域。遥感社区也是如此，他们见证了视觉 transformer 用于各种任务的增加。...
最新17种Transformer模型大盘点，NLP学习必备，Google AI研究员出品
stu_muc的博客
10-06 574
https://mp.weixin.qq.com/s/ptqSW86lwhB8Ogi3Ak_L9A
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4623
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
TimeSformer 视频分类 的Transformer架构 Vision Transformer（ViT） 无卷积架构 时空自注意力机制
万有文的博客
05-06 1761
TimeSformer是Facebook AI于2021年提出的无卷积视频分类方法，该方法使用ViT网络结构作为backbone，提出时空自注意力机制，以此代替了传统的卷积网络。与图像只具有空间信息不同，视频还包含时间信息，因此TimeSformer对一系列的帧级图像块进行时空特征提取，从而适配视频任务。
谷歌团队推出新Transformer，优化全景分割方案｜CVPR 2022
深度学习技术前沿
08-04 438
转自：新智元最近，谷歌AI团队受Transformer和DETR的启发提出了一种使用Mask Transformer进行全景分割的端到端解决方案。全称是end-to-end solution for panoptic segmentation with mask transformers，主要用于生成分割MaskTransformer架构的扩展。该解决方案采用像素路径（由...
2023年4月份上新的Transformer模型设计系列论文（附下载链接）
学姐带你玩AI的博客
04-19 1694
来源：投稿 作者：王老师编辑：学姐。
Transformer用到3D点云分割
luoganttcc的博客
11-30 530
文章链接 git代码 来自清华计算机系的团队，开发出了一个全新的PCT网络，相比于目前主流的点云分割模型PointNet，不仅参数量减少，准确度还从89.2%提升到了93.2%。
点云检测之Point Transformer
Blabala的博客
05-24 2417
Point Transformer这篇论文与上一篇清华大学团队发表的之间仅相隔一天 ，较早些时候德国也有一个团队也发表了一篇同名的论文。从这几篇论文开始可以算作Transformer正式入驻3D物体检测领域。
最新综述！基于Transformer的视觉分割大盘点（图像/点云/域适应/高效分割）
CV_Autobot的博客
05-23 2326
视觉分割旨在将图像、视频帧或点云划分为多个片段或组。这项技术在现实世界中有许多应用，如自动驾驶、图像编辑、机器人传感和医学分析。在过去的十年里，基于深度学习的方法在这一领域取得了显著的进步。
Transformer在3D点云中的应用综述（检测/跟踪/分割/降噪/补全）
abcwsp的博客
10-20 4224
Transformer 一直是自然语言处理 (NLP) 和计算机视觉 (CV) 的核心。NLP 和 CV 的巨大成功激发了研究者对 Transformer 在点云处理中的使用的探索。但是，Transformer如何应对点云的不规则性和无序性？Transformer 对不同的 3D 表示（例如点云或体素）的适用性如何？Transformer 对各种 3D 处理任务的能力如何？到目前为止，还没有对这些问题的研究进行系统的调查。论文全面概述了用于 3D 点云分析的 Transformer算法。
Transformer在点云学习领域的应用及实现
TechSavant的博客
08-13 485
Transformer模型作为一种强大的序列建模方法，在点云学习领域展现出了广阔的应用前景。通过对点云数据进行建模和处理，Transformer能够提取关键特征，并在点云分类、分割等任务中表现出色。随着深度学习技术的不断发展，相信Transformer在点云学习领域将会有更多的研究和应用。其中，在点云学习领域，Transformer的应用正在取得令人瞩目的进展。与传统的循环神经网络和卷积神经网络相比，Transformer能够捕捉长距离的依赖关系，具有较好的并行计算性能，因此在处理长序列数据时表现优异。
基于深度学习方法的点云算法4——PCT: Point Cloud Transformer（点云分类分割）
zhazhaqiangdedad的博客
06-12 4953
不规则域和缺乏有序性使得设计用于点云处理的深层神经网络具有挑战性。提出了一种新的点云学习框架Point Cloud Transformer（PCT）。Transformer在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕获点云中的局部上下文，我们通过最远点采样（ farthest point sampling）和最近邻搜索（nearest neighbor search）来增强输入嵌入。大量实验表明，PCT在形状分类
点云 Transformer
03-05
点云 Transformer是一种用于处理点云数据的深度学习模型。它基于Transformer架构，通过自注意力机制来对点云数据进行建模和处理。 点云是由大量的三维点组成的数据结构，常用于表示物体的形状、场景的几何信息等。传统的深度学习模型主要针对图像和序列数据进行设计，而点云数据的非结构性和无序性给模型的处理带来了挑战。点云 Transformer通过引入自注意力机制，能够有效地捕捉点云数据中的局部和全局关系，从而实现对点云数据的建模和特征提取。 点云 Transformer的核心思想是将点云数据表示为一组点特征向量，并通过自注意力机制对这些特征向量进行交互和聚合。具体而言，点云 Transformer包括以下几个关键组件： 1. 点特征编码器：将每个点的坐标和其他属性（如颜色、法向量等）映射为特征向量。 2. 自注意力机制：通过计算每个点特征向量与其他点特征向量之间的相似度，来确定每个点在聚合过程中的权重。 3. 多层感知机：用于对每个点特征向量进行非线性变换和特征提取。 4. 点特征解码器：将聚合后的点特征向量映射回原始的点云表示。 通过这些组件的协同作用，点云 Transformer能够有效地处理点云数据，并在点云分类、分割、重建等任务中取得了较好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值