全面超越稀疏卷积！最新点云Transformer方法准确性实现SOTA，速度快4倍

最新推荐文章于 2025-03-06 15:01:56 发布
最新推荐文章于 2025-03-06 15:01:56 发布
阅读量4k 收藏 40
点赞数 24
分类专栏： 人工智能干货 深度学习干货 文章标签： 人工智能 机器学习 深度学习 论文 点云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/136717430
版权
本文探讨了Transformer在图像处理中如何有效处理点云数据的不规则性和无序性，特别是在点云分类、分割、检测等任务中的优势。重点介绍了FlatFormer、OctFormer和MGT等高效且创新的Transformer架构，以及它们在性能和效率上的提升。PointCT则展示了在弱监督下进行点云语义分割的新方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在图像处理领域，Transformer能够有效应对点云数据的不规则性和无序性，并且通过自注意力机制，捕捉全局信息，从而更好地理解点云数据的整体结构和特征。因此，将Transformer应用于处理三维点云数据的任务已经成为了一种趋势。

对比稀疏卷积，点云Transformer拥有对非结构化数据的处理能力、较大的感受野、高效的设计和全局注意力机制。鉴于这些优势，研究者已经提出了多种基于Transformer的架构用于点云分类、分割、检测、跟踪、配准以及补全等任务。比如MIT&交大&清华联合提出的FlatFormer。

  • FlatFormer：一个非常高效的Transformer方法。比（基于Transformer的）SST快4.6倍，比（稀疏卷积的）CenterPoint快1.4倍。是第一个在边缘GPU上实现实时性能的点云Transformer。

本文分享12种点云Transformer创新方案，包含今年最新，原文以及开源代码已附，并简单提炼了方法和创新点，希望可以为同学们提供新的思路。

论文原文以及开源代码需要的同学看文末

FlatFormer

FlatFormer: Flattened Window Attention for Effcient Point Cloud Transformer

方法：FlatFormer采用了基于窗口的排序方法将点云扁平化，并将其分割成等大小的组，而不是等形状的窗口。然后，在每个组内应用自注意力机制提取局部特征

最低0.47元/天 解锁文章
Transformer在点云学习领域的应用及实现
TechSavant的博客
08-13 475
Transformer模型作为一种强大的序列建模方法，在点云学习领域展现出了广阔的应用前景。通过对点云数据进行建模和处理，Transformer能够提取关键特征，并在点云分类、分割等任务中表现出色。随着深度学习技术的不断发展，相信Transformer在点云学习领域将会有更多的研究和应用。其中，在点云学习领域，Transformer的应用正在取得令人瞩目的进展。与传统的循环神经网络和卷积神经网络相比，Transformer能够捕捉长距离的依赖关系，具有较好的并行计算性能，因此在处理长序列数据时表现优异。
ICCV2023最新！MemorySeg：激光雷达语义分割SOTA！
3D视觉工坊
11-16 296
作者：| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者总结本文提出了一种在线激光雷达语义分割框架MemorySeg，它利用三维潜在记忆来改进当前帧的预测。传统的方法通常只使用单次扫描的环境信息来完成语义分割任务，而忽略了观测的时间连续性所蕴含的上下文信息。该框架旨在解决在激光雷达表示...
PointNet 和 PointTransformer 的3D点云分类与分割
m0_63137171的博客
06-23 1256
3D点云
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4596
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
2025最新Transformer模型及深度学习前沿技术应用
最新发布
aishangyanxiu的博客
03-06 1051
损失函数的设计（数据驱动与物理驱动的损失项）2、Swin Transformer模型（提出的背景、基本架构、与ViT模型的比较、分层架构、窗口机制、位置编码、Transformer编码器、模型的训练与优化、模型的Python代码实现）1、ViT模型（提出的背景、基本架构、与传统CNN的比较、输入图像的分块处理、位置编码、Transformer编码器、分类头、ViT模型的训练与优化、ViT模型的Python代码实现））、搜索策略（随机搜索、贝叶斯优化、进化算法、强化学习等）、性能评估。
14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
2401_82426425的博客
01-31 6684
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 45万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
麻省理工！FlatFormer: 一种高效的点云Transformer
CV_Autobot的博客
02-25 1354
作者| 汽车人 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/607958769?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：https://arxiv.org/pdf/2301.08739.pdf作者单位：麻省理工学院 上海交通大学 清...
回顾60多种transformer研究，一文总结遥感领域最新进展
CV_Autobot的博客
11-03 664
编辑|机器之心点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！过去十年，基于深度学习的算法在遥感图像分析中得到广泛应用。最初引入到 NLP 领域的 transformer 已经渗透到计算机视觉领域。遥感社区也是如此，他们见证了视觉 transformer 用于各种任务的增加。...
最新17种Transformer模型大盘点，NLP学习必备，Google AI研究员出品
stu_muc的博客
10-06 571
https://mp.weixin.qq.com/s/ptqSW86lwhB8Ogi3Ak_L9A
TimeSformer 视频分类 的Transformer架构 Vision Transformer（ViT） 无卷积架构 时空自注意力机制
万有文的博客
05-06 1738
TimeSformer是Facebook AI于2021年提出的无卷积视频分类方法，该方法使用ViT网络结构作为backbone，提出时空自注意力机制，以此代替了传统的卷积网络。与图像只具有空间信息不同，视频还包含时间信息，因此TimeSformer对一系列的帧级图像块进行时空特征提取，从而适配视频任务。
具有HiLo注意力的快速视觉Transformer
AI浩
01-31 935
视觉Transformer（ViTs）在计算机视觉领域引发了最新且最重要的突破。其高效设计大多以计算复杂度的间接指标，即浮点运算数（FLOPs）为指导，然而，该指标与吞吐量等直接指标之间存在明显差距。因此，我们建议使用目标平台上的直接速度评估作为高效ViTs的设计原则。特别是，我们引入了一种简单且有效的ViT——LITv2，在各种不同模型尺寸下，LITv2均以更快的速度优于现有的最先进方法。LITv2的核心是一种新颖的自注意力机制，我们称之为HiLo。
谷歌团队推出新Transformer，优化全景分割方案｜CVPR 2022
深度学习技术前沿
08-04 437
转自：新智元最近，谷歌AI团队受Transformer和DETR的启发提出了一种使用Mask Transformer进行全景分割的端到端解决方案。全称是end-to-end solution for panoptic segmentation with mask transformers，主要用于生成分割MaskTransformer架构的扩展。该解决方案采用像素路径（由...
2023年4月份上新的Transformer模型设计系列论文（附下载链接）
学姐带你玩AI的博客
04-19 1669
来源：投稿 作者：王老师编辑：学姐。
Transformer用到3D点云分割
luoganttcc的博客
11-30 526
文章链接 git代码 来自清华计算机系的团队，开发出了一个全新的PCT网络，相比于目前主流的点云分割模型PointNet，不仅参数量减少，准确度还从89.2%提升到了93.2%。
点云检测之Point Transformer
Blabala的博客
05-24 2375
Point Transformer这篇论文与上一篇清华大学团队发表的之间仅相隔一天 ，较早些时候德国也有一个团队也发表了一篇同名的论文。从这几篇论文开始可以算作Transformer正式入驻3D物体检测领域。
最新综述！基于Transformer的视觉分割大盘点（图像/点云/域适应/高效分割）
CV_Autobot的博客
05-23 2261
视觉分割旨在将图像、视频帧或点云划分为多个片段或组。这项技术在现实世界中有许多应用，如自动驾驶、图像编辑、机器人传感和医学分析。在过去的十年里，基于深度学习的方法在这一领域取得了显著的进步。
Transformer在3D点云中的应用综述（检测/跟踪/分割/降噪/补全）
abcwsp的博客
10-20 4185
Transformer 一直是自然语言处理 (NLP) 和计算机视觉 (CV) 的核心。NLP 和 CV 的巨大成功激发了研究者对 Transformer 在点云处理中的使用的探索。但是，Transformer如何应对点云的不规则性和无序性？Transformer 对不同的 3D 表示（例如点云或体素）的适用性如何？Transformer 对各种 3D 处理任务的能力如何？到目前为止，还没有对这些问题的研究进行系统的调查。论文全面概述了用于 3D 点云分析的 Transformer算法。
基于深度学习方法的点云算法4——PCT: Point Cloud Transformer（点云分类分割）
zhazhaqiangdedad的博客
06-12 4837
不规则域和缺乏有序性使得设计用于点云处理的深层神经网络具有挑战性。提出了一种新的点云学习框架Point Cloud Transformer（PCT）。Transformer在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕获点云中的局部上下文，我们通过最远点采样（ farthest point sampling）和最近邻搜索（nearest neighbor search）来增强输入嵌入。大量实验表明，PCT在形状分类
transformer点云
01-18
### Transformer在点云处理中的应用 #### 应用背景和发展趋势 近年来，Transformer架构因其强大的表达能力和全局依赖关系建模能力，在点云学习领域取得了显著进展[^2]。这些模型能够有效地捕捉点云内部复杂的几何结构和空间分布特性。 #### 主要应用场景 1. **点云分类** - 利用Transformer的强大表征能力来区分不同类型物体的点云数据。 - 多尺度几何感知变压器(Multi-Scale Geometric-Aware Transformer, MGT)通过划分不同数量和大小的patch获取多尺度特征，有助于提高分类准确性[^3]。 2. **点云分割** - 对于语义分割任务而言，Transformer能更好地理解局部细节以及整体上下文信息之间的关联。 - Point Cloud Transformer (PCT) 在此方面表现出色，不仅实现了最先进的效果，而且在网络规模与计算效率之间达到了良好平衡[^4]。 3. **点云生成** - 可以基于自回归机制或扩散过程构建生成对抗网络(GANs)，借助Transformer编码器解码器框架完成高质量三维形状重建工作。 #### 实现方法概述 为了适应离散无序且不规则分布特点明显的点集形式输入，研究者们提出了多种创新性的解决方案： - 将原始坐标作为token直接送入标准Transformers； - 设计专门针对欧式距离度量体系优化过的注意力机制模块； - 引入额外位置编码辅助序列排列顺序的学习； 下面给出一段简单的Python伪代码展示如何初始化一个基本版Point Transformer类实例: ```python import torch.nn as nn class SimplePointTransformer(nn.Module): def __init__(self, embed_dim=64, num_heads=8): super(SimplePointTransformer, self).__init__() self.embed_layer = nn.Linear(3, embed_dim) # 坐标嵌入层 self.transformer_encoder = nn.TransformerEncoder( encoder_layer=nn.TransformerEncoderLayer(d_model=embed_dim, nhead=num_heads), num_layers=6) def forward(self, points): # 输入维度[B,N,3], B=batch size; N=point number embedded_points = self.embed_layer(points) output = self.transformer_encoder(embedded_points.permute(1,0,2)) return output.permute(1,0,2).mean(dim=1) # 平均池化得到全局描述符 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值