浅读contact-grasp分析

研一一直摸鱼，导致必须好好看文章了，最近在看有关姿态抓取的文章，自己做一个小记录。（初学者，可能很多地方有误）

摘要：在不受约束、杂乱的环境中抓取未知的物体是机器人自主操作的一项基本技能。尽管最近在全六自由度抓取学习方面取得了进展，但现有的方法通常由复杂的顺序管道组成，具有多个潜在的故障点和不适合闭环抓取的运行时。因此，我们提出了一种端到端网络，可以直接从场景的深度记录中有效地生成6自由度的平行爪抓取分布。我们的新抓取表示将记录的点云的3D点作为潜在的抓取接触点。通过在观察到的点云中建立完整的6自由度抓取姿势和宽度，我们可以将抓取表示的维数降至4自由度，这大大方便了学习过程。我们的类不可知论方法经过了1700万次模拟抓取的训练，并很好地推广到真实世界的传感器数据。在机器人抓取结构化杂波中看不见的物体的研究中，我们达到了90%以上的成功率，与最近最先进的方法相比，失败率减少了一半。

 使用单视觉的RGB-D生成随机的3D点云，目标是生成可靠稳定的6DOF二指抓取。

        抓取物体的能力是大多数机器人操作任务所需的基本能力之一。抓取涉及对物体的3D几何形状和物理属性（如质量和摩擦）的推理，以及对复杂接触物理的推理。它主要在两个方向上研究：

1. 基于模型的抓取，即抓取对象的 3D 模型或类别是已知的，其通过在对象框架中预定义一组抓取并根据 6-DoF 对象姿势或检测到的对象的关键点来转换这些抓取，从而规避了关于接触和抓取生成物理的推理。基于模型的方法的缺点是它们仅适用于已知对象或类别的有限子集，并且在检测 6-DoF 对象姿势或对象关键点时出现的任何错误都会降低抓取性能。

2. 无模型的抓取，即我们没有关于对象的先验知识。无模型方法不会对对象的类别或形状做出任何强有力的假设，并且它们学习所有对象形状和大小的共享表示。然而，除了用于抓取姿势的 6 维实数向量空间 之外，所有对象都有一个共享表示，这使得学习问题变得非常具有挑战性。

        本文中，作者从场景的部分点云观察中解决了杂乱空间中未知物体的6-DoF抓取问题。从具有结构的杂乱场景中抓取对象具有较大的挑战：必须成功抓取目标对象，同时必须避免与其他对象发生任何碰撞，以防止损坏或转换为其他不良状态。此外，由于机器人运动学的限制，为物体生成一组多样化的抓取姿态至关重要。

主要贡献如下：

1. 提出了一 种新的端到端方法，用于在杂乱的现实世界场景中对未知物体进行 6-DoF 抓取 ， 本文 实现 了 90% 的抓取成功率。这 比 当时主流的同类别论文中的抓取成功率 高了 10 % 左右。

2. 提出了一 种新的抓取姿势表示，可将 6-DoF 抓取投射到观测点云中的 接触点，并将两指抓手的宽度考虑进去，使得抓取的维度可以降至 4-DoF ， 这可以极 大地促进 了网络的学习速度。

3. 在虚拟的物理模拟器中 进行全面的 消融 实验 ， 以评估不同损失函数和训练数据的影响。

首先我们要知道，什么决定了抓取的稳定性呢？ 那就是接触质量。

        作者首先做了一个基本的假设，就是大部分稳定的物体，都至少存在一次可以稳定地通过机械臂去抓取地一次机会。

        因此，他们制作了一个数据集ACRNYM，这个数据集包含了在物理模拟场中一共17.7m次的不同物体的6D姿态抓取。

        然后，他们在点云中渲染了这些抓取的接触点，如下图所示，红色代表不合适的接触点，蓝色代表合适的接触点。

        最后我们就可以将这些可靠的接触点通过3DOF（旋转维度）以及1DOF（抓手宽度）进行一个分类。

训练 

作者从ACRONYM数据集中用密集的抓取注释放置对象网格，在场景中的随机稳定姿势。并去除产生夹持器模型碰撞的抓取姿势。产生的抓取姿态被映射到它们在网格表面上的接触点。

在训练过程中，作者去采样虚拟相机来渲染场景中的点云。如果在5mm半径内存在一个网格接触点(蓝色)，作者将记录的点(黄色)视为正接触点，并将属于最接近的网格接触点的抓取变换与之关联。这些逐点注释用于监督“接触把握网络”。

 

 

 

        抓取表示:c描述了一个观察到的接触点。a和b构成三自由度旋转，w为预测抓取宽度，d为基线到基帧的距离。

        对于大多数可预测的两指抓握，在抓握之前至少有一个接触是可见的。由于可见的接触点必然位于可以用深度传感器观察到的表面上，可以用记录的点云中附近的点表示它们的3D位置。

        既然可以找到一个抓握点，就可以仅仅考虑3DOF的旋转空间，再加上w的抓取宽度，构成一个4DOF的维度。

        与在无约束SE(3)空间中估计抓取姿态的方法相比，降低的维数大大促进了学习过程。它还增加了预测抓取的姿势精度，因为它们与观察到的场景的几何形状绑定。与轴角表示相比，本文的旋转表示既没有歧义也没有不连续。此外，在测试时，可以通过采样覆盖场景/物体整个可观察表面的接触点来对抓取建议进行采样，从而很好地表示6自由度抓取分布的模式。

接下来是它的损失函数分析。

第一个是抓取的损失函数，它由合适的抓取点n，抓取的一个分数（这个分数是在一定的范围内的一个抓取的成功率得到的），再加上预测的平均距离的减去gt空间的理论距离的二范数所构成。

下面俩个损失函数是一个bce交叉熵损失函数（多标签任务）以及一个优化距离的交叉熵损失函数。

最后得到一个总的损失函数，它的系数分别为1，10，1。

 消融实验

损失函数的消融实验

数据消融实验

最后的整个过程分析：

        从RGB-D图像中分割未知对象。Contact-GraspNet处理整个场景点云或目标对象周围感兴趣的局部区域。预测的6自由度抓取然后通过过滤其接触点与对象段相关联。

        在右边，显示了预测的6自由度把握分布，粗体显示的是每段最自信的把握。

 本文主要研究了用平行爪抓取器抓取复杂结构环境中的未知物体的基本问题。

1.提出 了一种高效、准确、简化的六自由度抓取生成方法 Contact- GraspNet 。通过将难以处理的六自由度抓取估计问题转化为抓取接触点分类和抓取旋转估计， 大大减少了 预测的姿态空间，方便了学习过程 。

2.通过 考虑到 6 自由度抓取分布的多模态、不平衡和稀疏性的定制优化目标 ， 作者 的网络 学习 在已知的 场景 中（物理模拟场）生成 覆盖整个可抓取表面的不同抓取 。

3.通过在训练期间考虑夹具碰撞，并直接在场景中预测抓握，可以有效避免夹持器碰撞。

该方法在这方面取得了很大的进步，朝着达到所需的抓取可靠性又迈进了一步。