[论文翻译]A Novel Local Geometry Capture in PointNet++ for 3D Classification（面向三维分类的pointnet++局部几何捕获方法）

Abstract

目前，用于三维点集分类的深度学习模型很少依赖于模型捕获局部几何结构的能力。pointnet++模型在学习局部几何结构方面比它的前辈PointNet取得了显著的进步。它递归地在输入3D点集的嵌套分区上应用PointNet。PointNet++模型通过球查询局部邻域，从点中提取局部区域特征。然而，球查询在获取高曲率曲面或区域的局部邻域方面效果较差。在这篇文章中，我们展示了利用椭球在质心周围查询，在局部邻域中覆盖更多的点，改进了三维分类结果。我们扩展了椭球查询技术，将其定向到局部邻域的主轴方向，以更好地捕捉局部几何。然后采用球查询和椭球重定向查询组合的点并集，使PointNet++分类结果提高1.1%。此外，我们展示了重新定向椭球查询对最先进的基于球体查询的模型——关系-形状卷积神经网络(RS-CNN)的影响，在ModelNet40数据集上的分类精度提高了0.8%。

Introduction

在过去的十年中，深度神经网络在计算机视觉领域的应用发生了巨大的发展，并在以前由传统的计算机视觉算法处理的计算机视觉任务中取得了最先进的结果。在2D图像和3D数据集中，很少有问题得到了广泛的关注，包括对真实物体的检测、分类、跟踪和分割。卷积神经网络(CNNs)对二维图像数据集的处理非常成功。利用卷积滤波器，cnn在减少参数数量的情况下取得了更好的泛化效果。与2D图像不同，cnn不能直接应用于点集等3D数据集，因为它们无法适应晶格网格。三维点集在自动驾驶、机器人、虚拟现实应用、大规模三维重建等领域有着广泛的应用。然而，从这些点集中提取与物体形状相关的特征是具有挑战性的。

三维点集是一组无序的点集，对任何学习的表示都要求排列不变性。将这些3D点集转换为任何其他格式，如多视图图像或体素，已经被证明会增加复杂性，因为体积数据集的稀疏性，也会失去有价值的固有几何特征。另一个挑战是如何从底层形状改变点的采样密度，以便选择点来生成3D点集。此外，三维点集分布的变化也会影响深度网络的鲁棒性。

最近的深度神经网络模型，如PointNet[1]，开始了将原始3D点云数据直接处理为多层感知器(MLPs)，并使用最大池聚合全局特征用于3D点集的对象分类的趋势。该模型的继承者PointNet++[2]对输入点集进行分区，并将分层结构应用于多个子集，以输入点云的最远点采样获得的一组点周围的局部邻域的形式，然后使用带最大池化的MLPs提取全局特征。

分层结构通过多个集合抽象层处理点集来产生新的但更少的点。每个集合抽象层由三层组成:采样层、分组层和点网层。采样层使用最远点采样从输入点中选择一组称为局部区域质心的点。分组层利用这些质心和原始点集，在每个质心周围找到捕捉局部邻域的相邻点。点网层利用一个小型化的点网模型将分组点的局部区域模式编码为特征向量。

在分组层中定义的球查询是一种中心思想，它捕捉物体表面上圆心周围的局部邻域。以每个质心点为中心，以半径为r的球捕捉局部邻域点。然而，一个缺乏方向的球体被限制访问物体表面的最大重叠。在滚动球[3]的情况下，当流形的曲率比给定的阈值大时，旋转球无法到达的样本点很少。pointnet++中的可视化分组，如图1所示，显示了通过球查询捕获的更少的点。增加半径来获取更多质心周围的点并不会提高整体的分类精度，因为我们在实验中已经尝试过这样做。这很可能是因为远离质心的点，与局部形状无关的点由于球尺寸的增加而被选中。

另外，由于椭球的形状，如果与局部邻域正确对齐，它就比球体有优势。在本文中，我们演示了一个重新定向的椭球在每个质心周围查询，增加了对局部邻域的捕获。我们基于椭球的查询已经在给定的质心周围捕获了更多相关的邻域点，如图2所示。对于两个质心的样本，在每个质心上具有不同方向的椭球可以捕获更多的点。球查询中的点决定了椭球的方向。

以下两个技术是我们的关键贡献，以实现更好的三维对象分类精度的三维点集。第一种技术只查询一次邻域，而第二种技术查询邻域两次:

• 椭球查询:利用椭球从每个质心周围的输入点(采样点)捕获点，以更好地捕获局部邻域。
• 重新定向椭球查询:利用球或椭球查询从每个质心周围的输入点捕获点，从捕获点计算主轴，重新定向输入点并再次查询，以更好地捕获局部邻域。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RVwCv06z-1653956722660)(https://cdn.mathpix.com/snip/images/arQtNUorLlzvyp3fbLf-576IgrWbJi2uTr1xnZfCeIQ.original.fullsize.png)]

图1：在3D点云对象上的一个FPS点(飞机)上的输入三维点云(绿色色点)、最远点采样(FPS)点(红色色点)、球查询和重定向椭球查询点(蓝色色点)的可视化。

3. Our Method

如果点$\left(x_i,y_i,z_i\right)$位于半径为$r$且中心为$\left(x_j,y_j,z_j\right)$(距离最远的点集$xy{z}_2$)的球体表面上或之内，则从输入点集$xy{z}_1$中选择一个点$\left(x_i,y_i,z_i\right)$。使用公式1计算该点到球心的欧几里德距离$d_{si}$。如果该距离$d_{si}$小于1，则该点位于球体内，如果该距离等于1，则该点位于球体的曲面上。选择距离$d_{si}$小于或等于1的点$\left(x_i,y_i,z_i\right)$。
$$d_{si}=\sqrt{\frac{{\left(x_i-x_j\right)}^{}}{r^2}}$$