xshell 无法定位输入点_机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划...

作者：Tom Hardy
Date：2020-2-13
来源：机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划
欢迎加入国内最大的3D视觉交流社区，1700+的领域从业者正在共同进步~

汇总 | 国内最全的3D视觉学习资源，涉及计算机视觉、SLAM、三维重建、点云处理、姿态估计、深度估计、3D检测、自动驾驶、深度学习（3D+2D）、图像处理、立体视觉、结构光等方向！

前言

最近读了一些关于机器人抓取相关内容的文章，觉得甚是不错，针对一些方法和知识点，做下总结。

本文综述了基于视觉的机器人抓取技术，总结了机器人抓取过程中的四个关键任务：目标定位、姿态估计、抓取检测和运动规划。具体来说，目标定位包括目标检测和分割方法，姿态估计包括基于RGB和RGBD的方法，抓取检测包括传统方法和基于深度学习的方法，运动规划包括分析方法、模拟学习方法和强化学习方法。此外，许多方法共同完成了一些任务，如目标检测结合6D位姿估计、无位姿估计的抓取检测、端到端抓取检测、端到端运动规划等。本文对这些方法进行了详细的综述，此外，还对相关数据集进行了总结，并对每项任务的最新方法进行了比较。提出了机器人抓取面临的挑战，并指出了今后解决这些挑战的方向。

介绍

为了完成机器人的抓取任务，机器人首先需要感知物体。随着传感器设备的不断发展，目前的机器人都配备了RGB摄像机和深度摄像机来获取丰富的环境信息。然而，原始的RGB-D图像对于机器人来说是简单的数字网格，在那里需要提取高层次的语义信息来实现基于视觉的感知。要抓取的目标对象的高层信息通常包含位置、方向和抓取位置。然后计算抓取规划以执行物理抓取。赋予机器人感知能力一直是计算机视觉和机器人学科的一个长期目标。机器人抓取不仅意义重大，而且早已被研究。机器人抓取系统由抓取检测系统、抓取规划系统和控制系统组成。其中，抓取检测系统是关键的入口点，它分为三个任务：目标定位、姿态估计和抓取点检测。结合抓取规划，详细介绍四项任务。

早期的方法假设要抓取的对象被放置在一个背景简单的干净环境中，从而简化了对象定位任务，而在相对复杂的环境中，它们的能力相当有限。一些目标检测方法利用机器学习方法对基于手工二维描述符的分类器进行训练。但是，由于手工创建的描述符的限制，这些分类器的性能有限。近年来，深度学习已经开始主导图像相关的任务，如目标检测和分割。此外，从RGB图像到深度图像的训练数据，以及二维或三维输入的深度学习网络，极大地提高了目标定位的性能，促进了机器人抓取技术的发展。利用目标物的位置，可以进行抓取检测。早期的分析方法是直接分析输入数据的几何结构，根据力闭合或形状闭合来寻找合适的抓取点。然而，分析方法存在着费时、计算困难等问题。随后，随着大量三维模型的出现，可以分析数据驱动的方法，将三维模型数据库中的抓取转移到目标对象。Bohg等人介绍了数据驱动的抓取方法，并根据抓取配置是针对已知、熟悉还是未知对象计算的，将这些方法分为三组。一般来说，目标物体的6D姿态是完成这项任务的关键。基于RGB图像的方法和基于深度图像的方法都可以实现精确的姿态估计。然而，这些方法如部分配准方法易受传感器噪声或不完整数据的影响。通过深度学习方法，可以直接或间接地从输入数据中估计姿态，从而获得对传感器噪声或不完整数据的抵抗力。还存在基于深度学