【2019ICRA】PointNetGPD: 基于PointNet直接从点云中估计抓取位姿

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

摘要

本文发表于2019年ICRA，作者提出了一种端到端的抓取位置预测模型，能够从点云中估计出机器人的抓取位姿。和当前算法相比，作者提出的PointNetGPD是一种轻量级的网络模型，能够处理抓取器闭合区域的点云，进行抓取质量估计。网络以原始点云作为输入，能够捕捉到抓取器闭合区域点云的复杂几何结构，即使这些点云很稀疏。此外，作者基于YCB模型库，生成了350K包含真实点云和抓取的数据集用于训练。提出的算法在仿真环境和实体机械臂上进行了定量评估，并且在单个物体和堆叠物体上进行了实际的抓取实验，结果展示了作者提出的算法得到了比当前主流算法更高的精度，也能够很好地扩展到未知物体。

1 引言

真实机器人抓取场景会有很多不稳定因素，其中就有传感器引入的数据不精确以及质量下降。因而，一个能够直接处理原始采集数据的机器人抓取位置估计算法尤为重要。一些最新的工作使用深度学习，在大规模抓取数据集上进行训练，能够得到很好的结果，并且适用于不同种类的物体、传感器和机器人，也能扩展到未知物体。然而，绝大多数这些方法仍然依赖2D图像或者2.5D深度图作为输入，一些抓取估计算法甚至需要复杂的手工设计的特征，仅有极少数考虑了3D几何信息。直观来讲，一个抓取能否成功，依赖于抓取器如何与物体表面在3D空间进行交互，因此，如果不对3D几何结构进行分析，会对抓取位置估计算法带来负面影响，尤其在对真实物体不能进行准确和完整采集的情况下。

PointNet网络能够直接作用于3D点云，进行3D物体的识别与分割。受其启发，作者提出了一个基于点云的抓取位姿估计算法PointNetGPD，使用一种有效的策略来生成和评估每一个抓取位姿；不同与之前使用Multi-view CNN或者3D-CNN进行抓取位置估计的方法，PointNetGPD不需要将3D点云投影为多幅2D照片，也不需要栅格化为稠密的3D体数据，能够最大化地保持原始点云的几何信息，更为有效的推断抓取质量。算法流程如图1所示。

图1 PointNetGPD算法流程：给定传感器输入的原始RGB-D数据，首先将深度图转换为点云；其次，根据必须的几何约束采样一些候选的抓取位姿，对于每一个候选，裁剪抓取器内部的点云，并转换为抓取器局部坐标系；最后，将候选抓取输入进抓取质量评估网络得到各自的评分，具有最高得分的候选抓取位姿被采纳并执行抓取。

此外，作者基于YCB数据集生成了一个包含350k真实点云、平行抓取器抓取位姿，以及解析式抓取质量评分的数据集。不同于Dex-Net数据集，该数据集针对每一个抓取位姿，提供了一种更为细致的评分。具体来讲，给定一个6D的抓取位姿，以及一个物体的CAD模型，作者通过计算force-closure和一个摩擦无关的GWS(Grasp Wrench Space)，作为该抓取位姿的评分。

2 问题描述

给定物体$o$，其与抓取器的摩擦力r，物体的几何中心$M_o$，物体的6D位姿$W_o$，则设定状态$s=(W_o,M_o,r)$；对于一个抓取g=(p, r)，其中$p=$