矩形获取roi区域_遮挡重叠场景下|基于卷积神经网络与RoI方式的机器人抓取检测...

作者：康斯坦奇
Date：2020-03-16
来源：遮挡重叠场景下|基于卷积神经网络与RoI方式的机器人抓取检测

摘要

抓取物体堆叠和重叠场景中的特定目标是实现机器人抓取的必要和具有挑战性的任务。在本文中，我们提出了一种基于感兴趣区域（RoI）的机器人抓取检测算法，以同时检测目标及其在物体重叠场景中的抓取。我们提出的算法使用感兴趣区域（RoIs）来检测目标的分类和位置回归。为了训练网络，我们提供了比Cornell Grasp Dataset更大的多对象抓取数据集，该数据集基于Visual Manipulation Relationship Dataset。实验结果表明，我们的算法在1FPPI时达到24.9％的失误率，在抓取我们的数据集时达到68.2％的mAP。机器人实验表明，我们提出的算法可以帮助机器人以84％的成功率掌握多物体场景中的特定目标。

一． 简介

随着服务机器人的发展，需要一种可靠的抓取检测算法来帮助智能机器人抓取不同的东西。众所周知，机器人抓取是一项具有挑战性的任务，涉及机器人感知，运动规划等。对于智能机器人而言，对环境的感知和理解，包括目标和抓握检测，是有效抓取的先决条件。为了在实践中广泛使用机器人抓握，有必要以准确和有效的方式掌握物体堆叠场景中的特定目标。解决这个问题的主要挑战是：如何在一堆物体中找到抓取物：当物体处于杂乱无章的堆中时，物体之间存在重叠，遮挡和堆叠，这使得抓取检测非常困难。如何知道每个抓取属于哪个对象：在获取抓取之后，由于重叠而将检测到的抓取与相应的对象匹配是困难的。最近的作品专注于单个物体场景中的抓取检测。然而，在机器人抓取的实际应用中，机器人面临的场景通常包含多个物体。一些作品试图解决物体杂乱场景中机器人抓取的问题，这也被称为“拾取箱”问题。这些算法更喜欢混乱的物体分散的场景，并且有一个显着的缺点：它们都忽略了抓取和目标之间的融合。例如，如果要求机器人从垃圾箱中获取苹果，则这些算法将无效，因为他们无法知道哪个抓取属于苹果。换句话说，这些抓取检测算法仅关注抓取检测，这使得它们在这种条件下不适合。一种替代方案是训练网络逐个检测和抓取最暴露的物体，直到所需的目标。然而，它缺乏对整体环境的感知，这限制了该算法的使用。为了抓取杂乱或堆叠场景中的特定目标，最简单的方法是将问题分解为两个子问题：对象检测和抓取检测。通过这样做，它需要匹配策略来将检测到的抓取分配给检测到的对象。如果对象被分散，则很容易将抓握分配给对象（例如，计算抓握中心与每个对象之间的距离，并选择最近的对象作为匹配结果）。然而，当物体之间存在遮挡和重叠时，尤其是当物体堆叠在一起时，抓取的分配过程将是困难的。因此，本文提出了一种基于感兴趣区域（RoI）的机器人抓取检测新方法，解决了物体重叠场景中抓取检测和物体抓握匹配的问题，同时检测物体和抓取位置。RoIs是对象边界框的候选。物体检测器基于Faster-RCNN，它使用RoI来回归物体位置并进行分类。我们在RoI合并后级联包括几个卷积层和抓取检测器的抓取检测管道。换句话说，我们使用RoI池化特征来检测属于RoI的抓取，如图1（b）所示。我们在抓取探测器和RoI汇集特征图之间添加卷积层的原因是，对一个特定目标的抓取的检测不同于仅检测抓取，这需要更大的接收场以防止属于不同对象的抓取的混淆。额外的卷积层可以扩大神经元的接收场。为了训练网络，我们将视觉操纵关系数据集（VMRD）标记为超过105个掌握，遵循中提出的五维维度表示。抓取的一个例子如图1（a）所示。除了每个抓取位置之外，还可以使用对象索引来标记每个标记。对VMRD的抓取比Cornell Grasp Dataset具有更复杂的分布。众所周知，这是第一次将对象和抓取检测结合起来检测每个抓取属于对象重叠场景的对象。这为复杂场景中的自主和自我感知提供了一种可能的方法。总之，本文的贡献包括三点：•提出了一种新的基于RoI的机器人抓取检测方法，用于检测RoI特征图上机器人抓取的位置。•提出了一种新的网络，使用基于RoI的抓握检测来同时检测目标和抓取，并检测目标重叠场景中检测到的抓取和目标之间的关系。•标记并发布了一个新的多对象抓取数据集，该数据集基于具有超过105个抓取的视觉操纵关系数据集。