论文阅读“CpT: Convolutional Point Transformer for 3D Point Cloud Processing”

文章信息

1.摘要

我们介绍了CpT：Convolutional point Transformer–一种新的深度学习体系结构，用于处理三维点云数据的非结构化性质。CpT是对现有基于注意的卷积神经网络以及以前的3D点云处理变压器的改进。它实现了这一壮举，因为它通过一个卷积投影层（为动态处理局部点集邻域而精心设计）有效地创建了一个新颖而健壮的基于注意的点集嵌入。结果点集嵌入对输入点的排列具有鲁棒性。我们的新CpT块建立在网络结构每一层通过动态图计算获得的点的局部邻域之上。它是完全可微的，可以像卷积层一样叠加，以了解点的全局属性。我们在标准基准数据集（如ModelNet40、ShapeNet Part Segmentation和S3DIS 3D室内场景语义分割数据集）上评估了我们的模型，以表明与现有最先进的方法相比，我们的模型可以作为各种点云处理任务的有效主干。

2.问题

我们工作的基本直觉在于两点。首先，变压器已被证明对输入数据中的排列具有本质上的不变性[42]，这使其成为集 处理任务的理想选择。其次，大多数现有深度学习方法处理的3D点利用局部特征来提高性能。然而，这些技术在局部尺度上处理点，使其对输入置换保持不变，从而导致忽略点表示之间的几何关系，并且所述模型无法很好地捕获全局概念。为了解决这些问题，我们提出了卷积点变压器。
我们的主要贡献是点嵌入模块（第3.1节）和带卷积注意投影的插入点注意模块（第3.2节）。

3.思路

4.方法

当sizeN×3的输入点云通过该体系结构时，通过基于欧几里德距离查找itsK近邻来计算点图。然后，该表示通过点嵌入层传递，该层将输入数据映射到隐式包含点的最近邻的表示。这是通过二维卷积运算完成的，其跨点的重叠程度可以通过步幅的长度来控制。然后将点积注意操作应用于该嵌入表示，随后是插入点注意模块。点积注意可以看作是学习点嵌入的相关特征，作为其K近邻的函数。这种注意机制学习关注点的特征，而不是点本身（列式矩阵注意）。E对于批处理中的一组点，它学习加权单个特征变换。另一方面，插入点注意可以解释为在一批中学习不同点之间的关系（按点嵌入而不是按点的单个特征操作的行矩阵注意）。这形成了CpT的一层。我们在InterPoint Attention操作之后更新图形，然后将其传递到下一个CpT。第三层，也就是最后一层，具有更高的特征空间嵌入维数，用于学习点云的表示，无需插入注意。更深层次的插入式注意并不能提供很多上下文，因为变形金刚最终可以学习跨越其点集嵌入维度的位置的关系。这也意味着，与共享加权MLP（1D卷积）相比，变压器能够在更深的层中可视化超出其有限感受野的输入，使其成为特征空间嵌入的更好选择。将此注意块添加到更深的层只会略微提高性能，但会显著增加计算量。然后将每个变压器层的输出连接起来，并通过最终共享加权MLP。然后将其进行全局最大合并，以获得形成点云表示的全局特征向量。然后通过一系列MLP进一步处理该表示，以对点云进行分类，或为点云中的每个点获取语义点标签。与传统变压器模型结构一样，在注意层之后使用剩余连接、层规范化、添加和MLP层

5.平台

我们在三个不同的数据集上评估了我们的模型，分别用于点云分类、部分分割和语义场景分割。对于分类，我们使用基准ModelNet40数据集[38]，对于对象零件分割[41]，我们使用ShapeNet零件数据集。我们使用斯坦福大学大型三维室内空间（S3DIS）数据集[1]进行语义场景分割。

6.验证

从结果可以看出，CpT优于现有的分类方法，甚至略优于点变换[45]。由于我们在模型中采用了图形计算方法，我们将与处理静态图形[27]和动态图形[34]的其他方法进行比较，以进行点云分类。这里，即使当我们不重新计算每个层的图时，CPT优于动态边缘条件滤波器（ECC）〔27〕，并且与DGCNN保持一致。每层之前的动态图计算有助于CpT超过文献中所有现有的基于图和非基于图的方法的精度，包括略微优于现有的基于变压器的方法[5,45]。

7.参考