（Dex-Net4.0）Learning ambidextrous robot grasping policies

摘要

对于电子商务订单执行、制造、检测和家庭服务机器人来说，实现通用的抓取算法或机器人从堆中可靠地抓取各种各样的新奇物体是一个巨大的挑战。由于传感、控制和物理接触中固有的不确定性，优化通用的抓取的速率、可靠性和广泛性很困难。本文探讨了“双手灵巧”的机器人抓取，其中使用两个或多个不同种类的抓取器。我们介绍灵巧网络(Dex-Net) 4.0，这是Dex-Net以前版本的一个实质性扩展，它通过使用物理和几何分析模型的领域随机化在合成数据集上进行训练，从而学习一组给定的抓取的策略。我们在基于平行夹爪以及真空吸盘为末端执行器的机器人上训练了500万个合成深度图像、抓取位姿和从大量三维物体中产生的奖励。在一个有两个末端执行器的物理机器人上，Dex-Net 4.0算法以每小时300次以上的平均抓取速率，并且以大于95%的可靠性，持续清理多达25个新物体的箱子。

INTRODUCTION

通用的抓取算法，或机器人快速可靠地抓取各种新物体的能力，可以使仓储、制造、医药、零售和服务机器人的应用受益。由于机器人感知和控制的固有局限性，实现通用的抓取算法是极具挑战性的。传感器噪音和遮挡模糊了环境中物体的精确几何形状和位置。控制液压系统的参数不精确的驱动和校准会导致机械臂定位不准确。因此，通用的抓取算法不能假设对环境中的机器人或物体的状态有精确的了解。

实现通用的抓取算法的一种方法是创建一个三维物体模型抓取的数据库，使用从几何和物理中导出的抓取性能度量，并随机采样以模拟不确定性。这种分析方法需要感知系统来记录已知物体的传感器数据，并且在实践中不能很好地推广到各种各样的新物体。第二种方法使用机器学习来训练函数逼近器，例如深度神经网络，以使用经验成功和失败的大型训练数据集从图像中预测候选抓取的成功概率。训练数据集是从人类或物理实验中收集的。由于校准或