抓取检测之Task-oriented Grasping in Object Stacking Scenes with CRF-based Semantic Model

引用

Yang C , Lan X , Zhang H , et al. Task-oriented Grasping in Object Stacking Scenes with CRF-based Semantic Model[C]// 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019.

摘要

复杂场景中的任务导向的抓取。在预测目标boundingbox的同时，预测抓取矩形框和抓取的任务分类。
创建了一个数据集OSGD。在实际的复杂场景中，抓取成功率为69.4%。

构建数据集

数据集中的物体从多个现有数据集中得到，共10个类别。抓取任务定义了12个（每个物体对应一个，再加无任务和递接），具体如下表：

生成过程：
在仿真环境pybullet中生成了100个物体的3D模型，随机将其中的3-6个物体随机放置在1m*1m的仿真空间内，通过仿真环境自动获取添加了噪声的深度图。
根据每个物体的边界自动生成与深度图对应的boundingbox。
对每个物体，手动标注递接任务和专属任务的抓取方案，并在仿真环境中用机械臂进行抓取，去除不稳定的抓取方案。然后将所有的抓取方案映射空间中的五维抓取矩形框，这些矩形框的主轴和深度图的主轴有一个夹角，去除夹角小于45°的矩形框，剩下的矩形框映射到深度图上。虽然这些矩形框都可以进行抓取，但是很多的矩形框有很大的重叠，通过NMS（非极大值约束）降低矩形框的密度，得到最终的抓取矩形框。
另外，每个矩形框都有一个任务类别标注，这是手动标注的。
生成过程如下图：

网络结构

下面一半就是Faster-rcnn，用来回归boundingbox，上面一半通过anchor机制同时回归抓取矩形框、预测抓取置信度、任务分类。
CRF用来去除局部特征图内非目标区域的干扰（原理不懂）。

评价

（1）评价目标检测，mAP。
（2）同时评价目标检测和抓取稳定性（不包括任务分类），mAP-G。
Firstly, the detected bounding box has an Intersection over Union (IoU) larger than 0.5 with the ground truth and the object can be classified correctly.
Secondly, the detected grasp with Top-1 stability score of the object must match at least one of the ground truth grasps with the Jaccard Index larger than 0.25 and the angle difference less than 30◦.
（3）评价任务分类准确度，Acc-T。
This metric is proposed for evaluating our models’ performance on task classification while avoiding the interference of the grasp stability. For each Region of Interest (RoI), we firstly choose the grasps with top n stability scores. If all these grasps are assigned the right task labels, it will be seen as a positive
example, otherwise a negative example. （其中Region of Interest是RPN网络预测的区域。）
评价结果如下：

在实际场景中的预测结果：

分析

（1）对每个抓取分类的约束不足。如拧螺丝，机械臂要完成拧螺丝这种复杂的任务，只抓住手柄是完全不够的，抓取器的旋转轴应与螺丝刀的主轴重合，等等。
（2）对任务导向的分类方式不妥。