Instance Segmentation of Point Cloud Based on Improved DGCNN for Robotic Grasping＜论文＞

摘要

点云分割是多目标叠加场景下机器人抓取研究的关键。针对点云分割方法在复杂叠加场景中精度低、鲁棒性差的问题，提出了一种基于动态图卷积神经网络的点云分割算法。在DGCNN特征提取中加入了一个将通道注意力机制和空间注意力机制相结合的通道空间注意力模块。这种改进的方法可以有效地利用点云的特征。为了训练改进的DGCNN网络，我们构建了一个包含800个真实世界堆叠场景的小型矩形对象分割数据集。实验结果表明，我们的分割准确率可以达到88.61%。经过充分的实验表明，采用我们的点云分割方法进行机器人抓取可以获得96%的成功率，能够满足实际生产需求。

1.介绍

机器人抓取是机器人研究的重要组成部分，是机器人与环境交互和完成复杂任务的基础[1]。机器人抓取已广泛应用于制造、物流、服务、食品、医疗等诸多领域。目前，基于二维图像的机器人抓取技术已经成熟[2，3，4]。然而，如果我们想用机器人来抓取堆叠的物体，仅仅提取二维信息来表征三维物体就会丢失深度和其他信息。因此，基于三维视觉的机器人抓取成为一个新的研究热点。

在3D视觉的许多领域，与传统方法相比，深度学习的研究取得了巨大进展[5，6]。深度学习开发的模型可以通过监督学习自动获取特征，解决了手工设计的特征在不同任务中泛化能力不足、特征表示较差等局限性[7]。2017年，Charles团队[8]提出了一种点云分类和分割网络PointNet。该网络是一个直接使用点云数据作为输入的深度神经网络。但是PointNet只能学习点云的全局特征。PointNet[9]可以通过考虑空间中点之间的距离来学习局部特征。2018年，李[10]对PointNet进行了改进，提出了PointCNN（Point Convolutional Neural Network）。PointCNN可以从点云中学习线性变换矩阵，并在将矩阵与点相关联后输入特征进行卷积处理。尽管线性变换矩阵提高了点云卷积处理的性能，但它们在点云排序中表现不佳。2019年，王[11]提出了动态图卷积神经网络（DGCNN），其中包含一个新的神经网络模块边缘卷积（EdgeConv）。2020年，Jiang[12]提出了一种新的端到端自下而上的架构，该架构可以通过探索对象之间的间隙来对点进行分组。上述方法介绍了基于深度学习的点云数据处理研究，为三维视觉在机器人抓取中的应用提供了坚实的理论基础。

本文旨在提出一种点云分割网络，该网络可以在复杂的堆叠场景中获得较高的成功率。具体来说，我们在DGCNN网络中添加了一个通道空间注意力模块，并使用点对之间的相对位置关系来构建点的局部邻域图。改进后的网络有效地利用了点云数据的空间信息，提高了分割精度。本文提出的网络以多目标场景中的点云为输入，输出最优目标点云。我们可以通过一种改进的姿态估计方法来计算目标物体的姿态信息。为了验证点云分割方法的有效性，我们使用UR3机器人和Surface120深度相机进行了实验。

2.点云分割网络

A、DGCNN

与传统的二维图像不同，EdgeConv使用k近邻（KNN）[13]图来构造局部特征并执行卷积运算。EdgeConv动态更新点云中点的特征，同时考虑点的特征和当前特征空间中靠近中心点的k个点的特征。这些相邻的点可以形成图结构，这可以被认为是局部特征。DGCNN通过提取点之间的边缘特征来学习两点之间的相关性[11]，然后通过KNN:G=（V，E），V⊆R^D，E𕥄V×V构造局部邻域图G，如图1所示。在局部邻域图G中，每个点都是中心点，并且通过等式（1）计算边缘特征：

B、点云特征 

在构造局部邻域图之后，基于EdgeConv块提取局部邻域图特征。我们定义了边缘特征：=ℎ , − ! , 其中θ是一个可学习的参数，同时考虑全局信息和局部邻域信息。然后，我们将按通道对称聚合操作（求和或最大池化）应用于从每个顶点发出的所有相关边缘特征。我们选择最大池运算是因为它不受点之间的顺序关系的影响，并且需要提取所有边缘特征的主要特征。局部特征“可以通过多层感知器（MLP）获得[14]

 Max表示从上述聚合函数中选择的最大池化运算，Ω表示由中心点和相邻点组成的点对。所构建的局部邻域图在每个网络层之后被动态更新。图中中心点P的k个最近邻居在网络中逐层变化。动态更新图结构可以使点云具有包括平移和置换不变性的属性[15]。在稀疏点云输入和遮挡的情况下，局部感受野的直径与点云的直径相同，以使点云分割的结果更加稳健。

C、改进的DGCNN

注意机制是机器学习模型中嵌入的一种特殊结构。具有注意力机制的模型能够自愿计算输入数据对输出数据的贡献。注意力机制包括通道注意力（CA）和空间注意力（SA）。它强调了图像特征信息在通道维度和空间维度上对任务的重要性[16]。SE网[17]中提出的SE块主要考虑特征通道之间的关系。它明确地对神经网络模块中通道之间的关系进行建模。带有SE块的网络显著提高了图像分类的准确性。然而，它只考虑了通道维度，而忽略了空间维度的重要性。

Woo[18]考虑了空间维度对特征的影响，提出了一种卷积块注意力模块（CBAM）。实验[18]表明，集成CBAM的模型在不同的分类和检测数据集中有显著的改进。在该模块中，输入特征图后，沿着空间和通道两个维度计算注意力权重，然后与原始特征相乘，自适应地调整特征。图2显示了CBAM结构。对维度为H×W×C的特征信息进行平均，并最大值合并以获得维度为H x W×1的两个特征通道描述。根据通道将两个特征通道描述拼接在一起，然后通过卷积层和sigmoid激活函数获得权重系数。最后通过将权重系数与输入特征相乘来获得新的特征。

分割网络取n个点的%，），*坐标信息P=，，，…，⊆ℝ. 作为输入。然后，我们在EdgeConv层上计算每个点的K大小边缘特征集，并聚合每个集中的特征来计算对应点的EdgeConv响应。最后一个EdgeConv层的输出特征被全局合并以形成一维全局特征。点云特征是通过连接所有EdgeConv层的一维全局特征和局部特征的输出而形成的，并且每个点语义标签的分类得分由全连接层生成（256256128，p）。

3.实验

A、实验步骤和细节

我们在UR3机器人上验证了我们的算法的有效性和可靠性，该机器人具有在夹紧模式下工作的平行钳口夹持器。用于获取单视点云的深度相机是Surface120。机器人抓取的实验设置和细节如图所示。4。

1） 使用Surface120深度相机获取堆叠场景中的点云。2） 将点云输入到我们训练的分割模型中，并输出目标对象。3） 手眼校准：计算摄像机坐标系和机器人基准坐标系之间的变换矩阵。4） 将目标点云输入到手眼校准矩阵中。5）通过改进的6DoF姿态估计来计算物体的位置和姿态。6） 抓住物体。我们的6DoF姿态估计方法是稳健的。生成目标对象的矩形边界框，如图4所示，然后可以计算点云的中心点坐标和法向量。我们可以通过获得的信息来计算目标物体的姿态信息。

B、数据集

我们使用我们的数据集进行训练实验，如图5所示。数据集包括800个场景，每个场景包含从2到12个不等的堆叠长方体对象，并选择上部对象作为目标对象。我们使用80%的数据集进行训练，20%用于测试。对于此任务，数据集中的每个点集都有两类：0和1，其中1表示要掌握的目标点，0表示剩余点。图图6显示，当我们在实验中将每个场景的点云下采样到2048个点时，我们的模型的预测精度可以达到相对稳定的水平。因此，在随后的训练过程中，我们将数据集中每个场景的点云下采样到2048个点。

C、训练

模型架构如图3所示。将点云的坐标数据输入到变换器网络中，然后使用三个EdgeConv层。如表1所示，当最近邻居的数量取为20时，精度可以达到最高值。因此，对于所有EdgeConv层，k=20。共享的完全连接层（1024）聚合先前层的信息。然后，通过使用快捷连接将所有EdgeConv的输出聚合到局部特征描述符中。最后使用三个共享的全连接层（256256128，p）来转换逐点特征。在训练过程中，将保持概率为0.5的丢弃应用于最后三个完全连接的层。我们选择LeakyReLU作为我们的损失函数，并且在所有层中都使用批处理规范化。批处理规范化的动量设置为0.9。我们根据测试数据评估我们的模型。该模型在Pytorch中实现，并使用SGD以0.1的学习率对模型进行训练。我们使用余弦退火来降低学习率，直到0.001[19]。不使用批量归一化衰减。此外，具有2048个输入点的分割模型在NVIDIA GTX2080Ti上运行，批量大小为16，用于训练的历元为250。

D.评估指标我们在点上选择交集而非并集（IoU）作为我们的评估指标。IoU通过等式（3）来计算。其中Pred是模型的预测结果，GT是地面实况。结果点云分割模型对数据具有较强的鲁棒性。图7显示了实验可视化结果。我们还将数据集应用于PointNet、PointNet和DGCNN。分割结果如表2所示；我们的准确率可以达到88.61%，优于上述三种方法。图8显示了精确度和历元之间的关系。当历元达到250时，结果明显趋于稳定。在机器人抓取实验中，我们设置了十组实验。每组实验包含10个堆叠抓取场景，并具有从2到12个不等的堆叠长方体对象。在充分实验的基础上，在复杂的堆叠场景中，平均成功率可达92%。它可以满足现实世界中的抓取要求。

IV、 结论

本文提出了一种改进的DGCNN点云分割网络，旨在提高复杂叠加场景下的分割精度，解决机器人抓取成功率低、鲁棒性差的问题。改进后的网络可以在动态更新图的同时，提取点云的局部几何信息，并在语义层面聚合更多关于点的信息。它可以减少局部几何特征信息的丢失。实验结果表明，本文改进的点云分割方法具有分割精度高的优点。实验表明，应用我们的点云分割模型后，机器人抓取的精度满足工业应用的要求。未来，我们将考虑优化我们的方法：我们将扩展我们的数据集，并将多个类别的对象添加到数据集中；我们将优化我们的6DoF姿态估计方法，以适应更复杂的抓取环境。