PointNetGPD: Detecting Grasp Configurations from Point Sets

1.解决的问题

提出了一个端到端的抓取评估模型，能够从3D点云中输出机器人抓取配置。
和基于手工设计深度特征和CNN的抓取评估方法相比，提出的PointNetGPD模型具有轻量化、能直接处理定位了夹持器配置的3D点云的特点。即使点云非常稀疏，也能很好地捕捉接触区域的几何结构。

先前工作大多依赖2D输入或2.5D输入，很少考虑3D几何信息。

论文的主要贡献：

1. 直接对3D点云进行集合分析评估抓取质量，和以前的基于CNN的方法相比，文章所提方法能更好地利用深度图像的三维信息，不需要手工设计的特征，即使点云稀疏也能够work，在感知不精确和不充分的情况下有规划抓取的潜力。
2. 建立了一个抓取数据集，包含力闭合和GWS分析的抓取质量分数。

2.相关工作

1. 抓取配置检测：model-based, model-free
2. 抓取质量指标：力闭合和GWS分析（Grasp Wrench Space analysis）
3. 三维视觉与机器人抓取：挑战问题是处理感知的不确定性，DNN，Andy的6DOF抓取依赖多视角深度图、CAD模型；3D-CNN计算复杂度高；GPD需要复杂的手工设计的特征，而且当输入点云比较稀疏时，GPD容易过拟合。

2.方法

物体状态 $s_o=(W_o,M_o,\gamma )$
抓取配置 $g=(p,r)\in {\mathbb{R}}^6$
变换后的点云包含N个点 $P\in {\mathbb{R}}^{3\times N}$
评价指标 $Q(s,g)\to \mathbb{R}$
目标学习评价指标 Q θ ( P , g ) ∈ { c 0 , c 1 , . . . } Q_\theta(P,g) \in{\{c_0,c_1,...}\} Qθ​(P,g)∈{c0​,c1​,...}，c为标签

采样

• 随机采样两个接触点 $p_1,p_2$ 和一个角度 $r\in (0,0.5\pi ]$，抓取为$g((p_1+p_2)/2,r)$
• 去除不可行的抓取（闭合手指是否会和物体碰撞）
• 将剩下的可行抓取从mesh变换到点云坐标，变换矩阵通过mesh和配准点云的ICP获得

标注

• 力闭合指标：$Q_{fc}$ 输入摩擦系数$\gamma$ ，输出二值标签；论文对输出进行了修改，取抓取为antipodal时的$\frac{1}{\gamma }$ ($\gamma$ 从0.4开始，直观上$\gamma$ 低score高，抓取更鲁棒)
• GWS分析（Grasp Wrench Space analysis）：$Q_{gws}$ 采用GWS半径作为抓取质量定量指标。GWS可以是${\mathbb{R}}^3$或${\mathbb{R}}^6$空间，论文采用简化的无摩擦的${\mathbb{R}}^3$空间。
• 抓取质量分数：$$Q(s,g)=\alpha Q_{fc}(s,g)+\beta Q_{gws}(s,g)$$

网络结构

输入点云只是包含在抓手闭合区域的一小部分（N个点），先变换到统一的局部抓手坐标系，消除歧义性。X轴为接近方向，Y轴为平行方向，Z轴为正交方向。

PointNet 网络评估抓取质量

采样用的是 Using geometry to detect grasp poses in 3d point clouds 论文中的GPG方法，从点云中进行启发式采样，舍弃离支撑面近的点，移除远离支撑面的点，对于碰撞的抓取，将其向接近方向的反方向拉直至碰撞消失，如果此时抓取器闭合区域仍然存在一些点，将其标记为无碰撞抓取。

4.实验

仿真实验

看抓取性能，GPD 作为 baseline， 3 / 12 channel 的GPD，单视角和全部点云验证模型在稀疏点云上的稳定性
表格中是200个epochs的最好结果，2-class是以抓取质量分数1/0.6为分界，3-class是以1/0.5和1/1.2为分界

机器人实验

看泛化性能，15 channel 的GPD，isolation（Table II） / clutter（Table III），单视角点云

3-class中 best class 好于 second class 说明 score的设置是有效的

5.下一步工作

• 将抓取候选生成整合到网络中，端到端生成抓取规划
• clutter segmentation，防止将多个物体当成一个物体，导致规划抓取不可行