全面超越稀疏卷积！最新点云Transformer方法准确性实现SOTA，速度快4倍

在图像处理领域，Transformer能够有效应对点云数据的不规则性和无序性，并且通过自注意力机制，捕捉全局信息，从而更好地理解点云数据的整体结构和特征。因此，将Transformer应用于处理三维点云数据的任务已经成为了一种趋势。

对比稀疏卷积，点云Transformer拥有对非结构化数据的处理能力、较大的感受野、高效的设计和全局注意力机制。鉴于这些优势，研究者已经提出了多种基于Transformer的架构用于点云分类、分割、检测、跟踪、配准以及补全等任务。比如MIT&交大&清华联合提出的FlatFormer。

• FlatFormer：一个非常高效的Transformer方法。比（基于Transformer的）SST快4.6倍，比（稀疏卷积的）CenterPoint快1.4倍。是第一个在边缘GPU上实现实时性能的点云Transformer。

本文分享12种点云Transformer创新方案，包含今年最新，原文以及开源代码已附，并简单提炼了方法和创新点，希望可以为同学们提供新的思路。

论文原文以及开源代码需要的同学看文末

FlatFormer

FlatFormer: Flattened Window Attention for Effcient Point Cloud Transformer

方法：FlatFormer采用了基于窗口的排序方法将点云扁平化，并将其分割成等大小的组，而不是等形状的窗口。然后，在每个组内应用自注意力机制提取局部特征，通过改变排序轴从不同方向聚合特征，并通过移动窗口在组之间交换特征。此外，研究还提供了一个针对FlatFormer设计的高效实现，进一步提升了其效率。

创新点：

• 平均尺寸vs平均窗口：作者提出了将点云分成相等大小的组而不是相等形状的窗口的设计选择。平均窗口分组保持了完美的空间邻近性，但破坏了计算规律性，而平均尺寸分组确保了平衡的计算工作量，但不能保证几何局部性。

• 高效实现：除了算法设计外，作者还提供了一种改进MHSA和FFN效率的实现，并减小了排序和掩码开销。这些优化专门为点云Transformer设计，并不适用于稀疏卷积模型。

• 平坦型Transformer：作者设计了一种平坦型Transformer，实现了边缘GPU上的实时推断速度。这是首个实现边缘GPU上实时推断的点云Transformer，为实际应用中高效的激光雷达感知铺平了道路。

OctFormer

OctFormer: Octree-based Transformers for 3D Point Clouds

方法：论文提出了一种基于八叉树的Transformer模型，称为OctFormer，用于3D点云学习。OctFormer不仅可以作为3D点云分割和物体检测的通用有效的骨架，而且具有线性复杂度，可适用于大规模点云。作者利用八叉树的排序随机键将点云划分为包含固定数量点的局部窗口，同时允许窗口的形状自由改变。

创新点：

• 提出了一种新颖的八叉树注意力机制，称为Octree Attention。Octree Attention可以更高效地处理点云数据，并比之前的点云注意力方法运行速度更快。

• 提出了基于八叉树的OctFormer作为3D点云分割、检测和分类的通用骨干网络。OctFormer在多个3D分割和检测基准测试中取得了最先进的性能，同时计算效率也比之前的点云转换器更高。

MGT

Multi-scale Geometry-aware Transformer for 3D Point Cloud Classification

方法：论文提出了一种基于Transformer的新型框架MGT，用于点云对象的分类。首先，将数据分为不同尺寸的多尺度补丁，从小尺寸到大尺寸的补丁，以探索点云的多尺度结构。然后，构建一个几何感知的Transformer模型，利用两级几何结构，即每个补丁的欧几里得几何和点云之间的非欧几里得几何。前者通过与新颖的球映射模块相关联的局部共享特征提取器实现，而后者则使用基于流形的自注意力模块实现。

创新点：

• 多尺度Patch分割Transformer：MGT将点云数据分割成不同大小的多尺度Patch，并将它们输入到Transformer中，以探索点云的多尺度结构。

• 基于几何感知的内部Patch表示：为了处理具有不同尺度的Patch，作者设计了一个特征提取器，为每个Patch生成固定长度的表示。这个特征提取器被称为共享局部特征提取器（SLFE），可以为所有尺度的Patch提取具有几何感知的固定长度特征。

PointCT

PointCT: Point Central Transformer Network for Weakly-supervised Point Cloud Semantic Segmentation

方法：本文提出了一种新颖而简单的方法，利用基于中心的注意机制和Transformer架构来解决点云分割中稀疏标注的挑战。该方法通过在中心点和相邻点之间建立相互连接，利用多个邻域之间的全局特征，实现了直接在三维原始点云上进行操作的端到端可训练弱监督网络。

创新点：

• 提出了一种基于3D点的端到端可训练的弱监督网络，用于克服有限点注释设置的限制。

• 引入了基于中心的注意力机制，通过两个嵌入过程整合稀疏点注释的挑战。该方法通过将全局特征与相应邻域的中心点特征相结合，将全局特征视为相邻点的权重，并结合中心点进行矩阵乘法。

• 提出了一种新颖而简单的端到端可训练的Transformer网络，通过对少量标记点进行点云语义分割，直接应用于3D原始点，无需任何预训练、主动学习或伪标签，并通过对基准数据集的大量实验超过其他研究。

• 使用位置编码平衡邻域特征，确保模型有效利用点之间的内在关系以获得最佳结果。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“点云创新”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏