GPG＜论文＞

摘要

对一组6DOF抓取候选进行分类，分为好和坏。

通过深度传感器扫描来训练一个CNN

提出两种新的抓取候选的表征（representation），使用两种形式的先验知识量化结果：物体实例  or 类别知识？（category knowledge）

在 从CAD模型上获得的深度数据 训练网络

1. 介绍

对于机器人抓取，抓取位姿检测是一种新的感知方法

大多数方法：使用sensor data（大多数是点云）和CAD模型进行fitting（匹配，拟合），如GPD，但是不好

我们：

1. 提出两种新的表示法方法，用来和【4】【7】对比
2. 评估使用物体（prior category或instance knowledge）（能提高抓取检测精度to improve grasp detection accuracy）的优势
3. 评估使用（理想CAD模型的训练数据）用于CNN训练的分类结果

上述想法在【18】中使用一般算法结构的背景下探讨，首先生成6DOF候选抓取，然后再进行分类

2. 以往研究

Grasp pose detection不同于以往的方法，因为it attempts to characterize graspable object surfaces in terms of local features rather than gross object geometry（试图从局部特征，而不是物体几何形状来描述可抓取物体表面）

Lenz：在RGBD上使用矩形框。给出候选矩形，在人类标记的数据上训练，预测哪些矩形框可取，哪些不可取。——这项工作的特点：在RGBD传感器的平面上检测物体。each detection correspods to RGBD传感器图像中（x,y,cita）的位置和方向。抓取器必须从一个与RGBD传感器的平面大致正交的方向接近抓取目标。

和Lenz这种使用（x,y,cita）方法相似的有很多。Pinto and Gupta【14】采取相似的方法，只是训练数据来自（on-line experience obtained by the robot during an automated experience-gathering phase）.Redmon and Angelova【15】使用上述手动标注的数据集，将抓取姿势问题视为a regression problem，用CNN去解决。

在RGBD中以（x,y,cita）这种方式的缺点是：限制了机械手只能从一个特定的方向接近物体。

但是从不同方向进行抓取才是最好的。Fischinger and Vincze放松了这一限制，在heighmap（高度图中的）中检测（x,y,cita）。——由于高度图可以由同一点云在不同的海拔高度构架，因此可以灵活控制抓取方向。

Herzog【4】的抓取模板方法（The grasp template approach）更加灵活，因为（ it aligns the approach direction on a grasp-by-grasp basis with the object surface normal at the grasp point）它在逐个抓取的基础上将抓方向和抓取点的物体表面法线对齐。

Kappler, Bohg, and Schaal【7】表明，Herzog提出的抓取模板可以与基于CNN的抓取分类器结合

ten Pas and Platt【18】提出一种基于几何学的生成候选抓取的方法，并提出了一种可以被视为（Herzog的变体方法）的表示方法。

另一种方法是向机器人演示对一组物体的grasp，然后将这些grasp转移到新的物体上。 Kroemer【10】利用部分物体来学习部分物体的shape（use actions afforded by object parts to learn the shape of the part）

Detry【11】学习一些典型部分物体的几何信息

Kopicki【9】对（contact和手部模型）的结合进行优化，生成候选抓取

我们的方法：无需人类演示。

3. 抓取位姿检测

A.问题陈述

输入：三维点云，云中的每个点至少与一个视点（i.e. camera location）相匹配。

代表视点的集合（the set of viewpoints）

代表云和视点的结合

还输入机器人抓手的几何参数，点的集合，用于识别点云中哪些部分包含要抓取的物体

输出：一组机械手，如果机器手被移动到并且手指闭合，那么将预计手对场景物体实现了力闭合抓取。

本文只考虑1DOF的二指平行夹爪。

B、算法概要

GPD算法概要如下，有两步：

第一步：采样数千个grasp candidates，每个grasp candidates是一个6自由度抓手，满足。具体实现：从中随机采样。对每个采样，我们计算一个表面法线和一个该点附近的axis of major principle curvature（For each sample, we calculate a surface normal and an axis of major principle curvature of the object surface in the neighborhood of that point.）。潜在候选在与曲率轴正交的常规方向推出。我们在每个方向推进一个无碰撞抓手，直到手指首次接触到点云（Kappler等人使用了类似的方法生成部分候选抓取）。一旦有了一个in-contact hand cofig，我们检查云中的任何点是都包含在手指之间（Once we have an in-contact hand configuration, we check to see whether any points from the cloud are contained between the fingers. If none are contained, then that grasp candidate is discarded.）。（ps.得到手不接触的config，对指里又没点云，那么我们就抛弃）。重复这步直到生成足够数量的候选抓取。抽样方法在论文【18】里查看。

第二步：使用4层的CNN网络，将候选分为抓或者不抓（as a grasp or not）。CNN作为GPD分类和ranking的标准选择（standard choice）。这里对CNN的选择，我们使用LeNet【11】（Kappler也是用的这个），LeNet有两个卷积/pooling层，然后是一个内积层，输出端有一个整流线性单元，再一个内积层，输出端有一个 softmax。（two convolutional/pooling layers followed by one inner product layer with a rectified linear unit at the output and one more inner product layer with a softmax on the output.）（ps.outputs, kernel size, pooling strides, etc和LeNet的相同，整个实验使用lr=0.00025）

下一节讨论如何对 不完整物体 的几何和外观 进行编码（The next section discusses how we encode the geometry and appearance of the part of the object to be grasped）

C、Grasp representation

（体素化过程）

D、Generating training labels

算法1的步骤2对抓取进行了分类，我们需要大量数据训练分类器。

具体来说，我们需要以下形式的训练数据：一组示例，其中每个示例都将本地物体表面相对于 6-DOF 手部姿势的几何或外观表示与表示在该手部姿势下是否存在抓握的标签配对。（In particular, we need training data of the following form: a set of exemplars where each exemplar pairs a representation of the geometry or appearance of the local object surface relative to a 6-DOF hand pose with a label indicating whether or not a grasp exists at that hand pose.）

使用如下方法生成训练数据：使用B中说的grasp candidate sampling method来生成一组候选抓取。然后，我们评估，如果手指从与抓取候选对象相关的手部姿势收拢到网格上，是否会形成frictionless antipodal grasp（无摩擦的反极抓取）。（Then, we evaluate whether a frictionless antipodal grasp would be formed if the fingers were to close on the mesh from the hand pose associated with the grasp candidate. ）

frictionless antipodal grasp【13】 means每个接触物体表面的法线都与接触手指闭合的方向反平行，并与连接接触物体的直线共线.如图三（each of the object surface normals at contact is anti-parallel with the direction in which the contacting finger closes and co-linear with the line connecting the contacts）

frictionless antipodal grasp 是一个strong condition：对于任何正摩擦系数，无摩擦的反方向抓取都是处于力的闭合状态。（a frictionless antipodal grasp is in force closure for any positive coefficient of friction）

4.EVALUATION

实现高精度抓取检测是抓取姿势检测的关键挑战，下面评估效果。

A、Measuring recall-at-high-precision for grasp pose detection

 B、Comparison between different representations

C. Pretraining on simulated data 

D. Using prior knowledge about the object

5、机器人实验

To validate our GPD algorithm, we ran two dense clutter experimental scenarios on a Baxter Research Robot

A、硬件设置

B、实验方案

C、杂波清除

D、结果

6、总结

在本文中，我们在以前关于点云中抓取姿势检测的工作基础上，首先创建了一个大的抓取假设集，然后将它们分类为好的或坏的抓取。

我们提出了三种改进分类步骤的方法。首先，我们引入了一个新的15个通道的抓取候选表示，作为训练CNN的输入。我们将这一表征与文献中现有的表征以及我们自己在以前工作中的表征进行了比较。我们发现，我们的表征编码的信息越多，分类器的表现就越好。然而，我们的15通道表示法只比我们的12通道表示法表现得好一点；尽管它的计算成本要高得多。

第二，我们发现，与末经训练的网络相比，在从在线数据集获得的模拟深度数据上预训练的网络减少了实现高分类精度所需的迭代次数。第三，使用关于要抓取的物体的先前实例或类别信息可以提高分类性能。与我们以前的工作相比，我们在本文中的机器人实验表明，在密集的杂波中抓取新的物体，平均成功率从73%提高到93%。，这一结果强调了我们提出的加强分类的方法明显改善了现实世界中的机器人抓取。

目前，GPD算法的局限性在于无法推断非几何对象的属性，如质心、惯性和重量。此外，由于这些算法通常避免了点云的分割，因此没有直接的方法来把握特定的感兴趣的物体，并区分两个相邻的物体。在未来的工作中，我们希望能解决这此间题。