机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

作者：Tom Hardy
Date：2020-2-13
来源：机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

前言

最近读了一些关于机器人抓取相关内容的文章，觉得甚是不错，针对一些方法和知识点，做下总结。本文综述了基于视觉的机器人抓取技术，总结了机器人抓取过程中的四个关键任务：目标定位、姿态估计、抓取检测和运动规划。具体来说，目标定位包括目标检测和分割方法，姿态估计包括基于RGB和RGBD的方法，抓取检测包括传统方法和基于深度学习的方法，运动规划包括分析方法、模拟学习方法和强化学习方法。此外，许多方法共同完成了一些任务，如目标检测结合6D位姿估计、无位姿估计的抓取检测、端到端抓取检测、端到端运动规划等。本文对这些方法进行了详细的综述，此外，还对相关数据集进行了总结，并对每项任务的最新方法进行了比较。提出了机器人抓取面临的挑战，并指出了今后解决这些挑战的方向。

介绍

为了完成机器人的抓取任务，机器人首先需要感知物体。随着传感器设备的不断发展，目前的机器人都配备了RGB摄像机和深度摄像机来获取丰富的环境信息。然而，原始的RGB-D图像对于机器人来说是简单的数字网格，在那里需要提取高层次的语义信息来实现基于视觉的感知。要抓取的目标对象的高层信息通常包含位置、方向和抓取位置。然后计算抓取规划以执行物理抓取。赋予机器人感知能力一直是计算机视觉和机器人学科的一个长期目标。机器人抓取不仅意义重大，而且早已被研究。机器人抓取系统由抓取检测系统、抓取规划系统和控制系统组成。其中，抓取检测系统是关键的入口点，它分为三个任务：目标定位、姿态估计和抓取点检测。结合抓取规划，详细介绍四项任务。

早期的方法假设要抓取的对象被放置在一个背景简单的干净环境中，从而简化了对象定位任务，而在相对复杂的环境中，它们的能力相当有限。一些目标检测方法利用机器学习方法对基于手工二维描述符的分类器进行训练。但是，由于手工创建的描述符的限制，这些分类器的性能有限。近年来，深度学习已经开始主导图像相关的任务，如目标检测和分割。此外，从RGB图像到深度图像的训练数据，以及二维或三维输入的深度学习网络，极大地提高了目标定位的性能，促进了机器人抓取技术的发展。利用目标物的位置，可以进行抓取检测。早期的分析方法是直接分析输入