EGNet: Efficient Robotic Grasp Detection Network

关键词： 

Grasp Detection, Manipulation Relationship Detection, Object Detection, Robot

名词解释：

Manipulation Relationship Detection：检测图像中对象的关系，根据对象堆叠的位置，识别出抓取的顺序。

方法：

作者在EfficientDet（目标检测），BiFRN（特征提取）的基础上，加入了一种新的位置细化块（抓取检测），提出了EGNet网络架构。该网络输入RGB图像，输出目标的位置和类别，目标的抓取位置及抓取成功概率，以及抓取目标之间的先后关系。

网络模型：

该网络可以分为四大模块：特征提取、目标检测、抓取检测和操作关系生成。通过EfficientNet和BiFRN提取特征，不仅提高目标检测的准确率，也能提高抓取检测的准确率。目标检测在EfficientDet上进行。对于抓取检测，网络使用了两个模块。一个用来生成抓取框，这是一个回归问题；而对于抓取角度，这利用分类问题对其进行预测。最终，提取的特征，目标检测以及抓取检测的结果都会提供给操作关系预测模块，提高准确率。

 创新点：

1. 放开预测抓取矩形和抓取角度，在预测抓取矩形中提出了一个新的抓取位置细化模块，可以通过模块的重复来将抓取矩形细化到合适的位置。

2. 能够将抓取矩形对应到相应目标的边界框中。

3. 操纵关系的检测模块能够充分地考虑目标检测，抓取检测，提取的特征的结果。

阅读笔记：

1. 关于使用RGB图像作为输入：
   1. RGB图像更容易获得，且相对于深度图像不容易被环境影响
   2. 深度图像的加入使得难以判断训练效果的提升是模型的改进还是其的加入
2. 本文使用了VMRD数据集和Cornell数据集
3. 本文使用了一种新的卷积运算：Depthwise separable convolution
4. 在训练期间，Cornell 数据集以 imagewise 级别和 objectwise 级别分别进行了训练。
5. 操纵关系高度依赖于物体检测和抓取检测的检测结果。
6. 在堆叠物体检测方面，准确率最高的依旧在70%以下，具有巨大的提升空间。