Learning hand-eye coordinationfor robotic grasping with deep learning and large-scale data collecti

题目：基于深度学习的机器人抓取手眼协调学习 和大规模数据采集

摘要：我们描述了一种基于学习的手眼协调方法，用 于机器人从单目图像抓取。为了学习手眼协调 抓取，我们训练了一个大型卷积神经网络来预 测抓取器的任务空间运动成功抓取的概率，只 使用单目摄像机图像，独立于摄像机标定或当 前机器人姿态。这就需要网络去观察抓爪与场 景中物体之间的空间关系，从而学习手眼协调 然后利用该网络对夹持器进行实时伺服控制， 实现成功的抓取。为了训练我们的网络，我们 在两个月的时间里收集了超过 80 万次的抓取 尝试，在任何给定的时间使用 6 到 14 个机器人 操纵器，摄像机的位置和硬件都有所不同。实 验结果表明，该方法能够实现有效的实时控制 能够成功地抓取新目标，并通过连续伺服纠正 错误

一、简介

本文中，我们提出了一种基于学习的手眼协调方法， 我们在一个机器人抓取任务上进行了演示。我们的方法 是数据驱动和以目标为中心的:我们的方法学习伺服一 个机器人抓手通过端到端训练，直接从图像像素到任务空间的夹持器运动， 很可能产生成功的抓取姿势。通过不断地重新计算最有希望的 运动指令，我们的方法不断地整合来自环境的感官线索，使其 能够对扰动做出反应，并调整抓取，以最大限度地提高成功的 概率。此外，电机指令是在机器人框架内发出的，这是模型在 测试时所不知道的。这意味着该模型不需要根据末端执行器对 相机进行精确校准，而是使用视觉线索来确定场景中夹持器和 可抓取物体之间的空间关系。

二、相关工作

抓取可分为几何驱动和数据驱动的方法。

几何方法分析目标物体的形状，并根据诸如力闭合或笼型等标准计划一个合适的抓握姿势。该方法需要了解场景的几何形状，使用深度或立体传感器，并将之前扫描的模型与观测结果进行匹配。

数据驱动的方法有多种不同的形式，包括基于监督的预测抓取配置Herzog2014，Lenz2015；通过离线计算的几何标准预测手指位置的方法Goldfeder2009。这两种类型的数据驱动抓取选择在最近研究中都加入和深度学习Kappler2015，Lenz2015，Red-mon&Angelova2015.

三、概述

四、基于卷积网络和连续伺服的抓取

五、数据采集

六、实验