抓取领域相关论文及摘要（有源码会附上源码）_ganhand: predicting human grasp affordances in mul-CSDN博客

本文对基于视觉的机器人抓取技术进行了综述。总结了基于视觉的机器人抓取过程中的三个关键任务:目标定位、目标姿态估计和抓取估计。其中，目标定位任务包括不分类的目标定位、目标检测和目标实例分割。此任务在输入数据中提供目标对象的区域。目标位姿估计任务主要是对6D目标位姿的估计，包括基于通信的方法、基于模板的方法和基于投票的方法，为已知目标提供抓取位姿的生成。抓取估计任务包括二维平面抓取方法和6DoF抓取方法，其中二维平面抓取方法约束从一个方向抓取。这三个任务可以通过不同的组合完成机器人抓取。许多目标位姿估计方法都不需要目标定位，而是将目标定位和目标位姿估计联合起来进行。许多抓取估计方法都不需要物体定位和物体姿态估计，并且采用端到端的方式进行抓取估计。本文详细回顾了传统的基于RGB-D图像输入的深度学习方法和最新的基于RGB-D图像输入的深度学习方法。并对相关数据集和最新方法的比较进行了总结。此外，还指出了基于视觉的机器人抓取面临的挑战和未来的发展方向。

源码：GitHub - GeorgeDu/vision-based-robotic-grasping: Related papers and codes for vision-based robotic graspingRelated papers and codes for vision-based robotic grasping - GitHub - GeorgeDu/vision-based-robotic-grasping: Related papers and codes for vision-based robotic graspinghttps://github.com/GeorgeDu/vision-based-robotic-grasping

2、Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects（2018）

使用合成数据训练用于机器人操作的深度神经网络，有望获得几乎无限数量的预先标记训练数据，这些数据可以安全地在安全的地方生成。迄今为止，合成数据的关键挑战之一是弥合所谓的现实差距，以便在面对现实数据时，基于合成数据训练的网络能够正确运行。我们探索现实差距的背景下，已知对象的6自由度姿态估计从一个单一的RGB图像。我们表明，对于这个问题，现实差距可以成功跨越一个简单的领域随机和逼真的数据组合。使用以这种方式生成的合成数据，我们引入了一个一次性深度神经网络，它能够与基于真实数据和合成数据组合训练的最先进的网络进行竞争。据我们所知，这是第一个仅在合成数据上训练的深度网络，能够在6自由度物体姿态估计上实现最先进的性能。我们的网络还可以更好地推广到包括极端光照条件在内的新颖环境，我们对这些环境给出了定性结果。利用该网络，我们演示了一个实时系统，该系统对物体的姿态进行了足够准确的估计，以实现真实机器人对已知杂乱物体的语义抓取。

源码：https://github.com/NVlabs/Deep_Object_Posehttps://github.com/NVlabs/Deep_Object_Pose

https://github.com/yehengchen/DOPE-ROS-D435https://github.com/yehengchen/DOPE-ROS-D435

3、 Grasp Pose Detection in Point Clouds（2017）

近年来，许多抓取检测方法被提出，可用于直接从传感器数据定位机器人抓取构型，而无需估计目标姿态。其基本思想是将抓取感知类比于计算机视觉中的目标检测。这些方法以噪声和部分遮挡的RGBD图像或点云作为输入，并产生作为输出的可行抓手的姿态估计，而不假设对象的已知CAD模型。虽然这些方法能够很好地将掌握的知识推广到新对象，但它们还没有被证明足够可靠，可以广泛应用。许多抓取检测方法的抓取成功率(抓取成功率为抓取尝试总数的一部分)在75%到95%之间，对于孤立地或轻杂波中呈现的新对象。这些成功率不仅对于实际的抓取应用来说太低，而且评估的轻杂波场景往往不能反映真实世界的抓取情况。本文提出了一些创新，共同导致了抓取检测性能的显著提高。我们的每一项贡献所带来的具体性能改进都可以在仿真或机器人硬件上进行定量测量。最终，我们报告了一系列机器人实验，平均93%的端到端抓取成功率在密集的杂波中呈现的新物体。

源码：https://github.com/atenpas/gpdhttps://github.com/atenpas/gpd

4、Grasp2Vec: Learning Object Representations from Self-Supervised Grasping （2018）

结构良好的视觉表示可以使机器人学习速度更快，提高泛化能力。在本文中，我们研究了如何利用机器人与环境的自主交互，在没有人类标记的情况下，获得有效的以对象为中心的机器人操作任务表示。随着机器人积累了更多的经验，这种表征学习方法可以受益于表征的不断细化，使它们能够在没有人类干预的情况下有效地缩放。我们的表征学习方法基于对象持久性:当机器人从场景中移除一个对象时，该场景的表征应该根据被移除对象的特征而改变。我们制定一个从这个观察计算特征向量之间的关系,并使用它来学习的表示场景和对象,然后可以用来识别对象实例,本地化的现场,执行目标导向把握任务的机器人必须从本检索命令对象。同样的抓取过程也可以用来为我们的方法自动收集训练数据，通过记录场景的图像，抓取和移除一个物体，并记录结果。我们的实验表明，这种任务抓取的自我监督方法大大优于直接强化图像学习和先前的表示学习方法。

源码：tensor2robot/research/grasp2vec at master · google-research/tensor2robot · GitHubhttps://github.com/google-research/tensor2robot/tree/master/research/grasp2vec

5、Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learning（2018）

熟练的机器人操作得益于非抓握(如推)和抓握(如抓)动作之间的复杂协同作用:推可以帮助重新排列杂乱的物体，为手臂和手指腾出空间;同样，抓取可以帮助移动物体，使推动运动更精确和无碰撞。在这项工作中，我们证明了通过无模型深度强化学习从头发现和学习这些协同作用是可能的。我们的方法包括训练两个完全卷积的网络，从视觉观察映射到动作:一个推断出推动的作用，以密集像素级的方式对末端执行器的方向和位置进行采样，而另一个则对抓取进行相同的操作。这两个网络在一个Q-learning框架中联合训练，并完全通过试错进行自我监督，成功的掌握将提供奖励。通过这种方式，我们的政策学会了推动行动，使未来的掌握成为可能，同时也学会了利用过去的推动。在模拟和现实场景下的拾取实验中，我们发现我们的系统在杂乱的挑战情况下快速学习复杂行为，在短短几个小时的训练后，比基线方案获得了更好的拾取成功率和拾取效率。我们进一步证明了我们的方法能够推广到新的对象。定性结果(视频)、代码、预先训练的模型和模拟环境可以在http://vpg.cs.princeton.edu上找到

源码：https://github.com/andyzeng/visual-pushing-graspinghttps://github.com/andyzeng/visual-pushing-grasping

https://github.com/jhu-lcsr/good_robothttps://github.com/jhu-lcsr/good_robot

6、High precision grasp pose detection in dense clutter（2016）

本文研究点云中的抓取位姿检测问题。我们遵循一个通用的算法结构，首先生成一个大的6自由度抓取候选集合，然后将它们分别归类为好的抓取或坏的抓取。我们在本文中的重点是通过使用来自大型在线数据集的深度传感器扫描来训练卷积神经网络来改进第二步。我们提出了两种新的抓取候选对象表示，并量化了使用两种形式的先验知识(被抓取对象的实例或类别知识)的效果，并根据理想化CAD模型获得的模拟深度数据对网络进行预训练。我们的分析表明，信息量更大的抓取候选表示以及预训练和先验知识显著提高了抓取检测。我们在Baxter研究机器人上评估了我们的方法，并证明在密集的杂波中平均抓取成功率为93%。这比我们之前的工作提高了20%。

https://github.com/atenpas/gpdhttps://github.com/atenpas/gpd

7、Deep Grasp: Detection and Localization of Grasps with Deep Neural Networks（2018）

提出了一种深度学习结构，用于预测机器人操作的可抓取位置。它考虑没有对象、一个或多个对象的情况。通过将学习问题定义为具有零假设竞争的分类而不是回归，具有RGB-D图像输入的深度神经网络在一次镜头中预测出单个或多个目标的多个抓取候选对象。该方法在康奈尔数据集上的图像分割和对象分割精度分别达到96.0%和96.1%，优于最先进的方法。在多对象数据集上的评估说明了该体系结构的泛化能力。对一组家用物品进行抓取实验，获得96.0%的抓取定位和88.0%的抓取成功率。从图像到计划的实时过程需要不到0.25秒。

https://github.com/ivalab/grasp_multiObject_multiGrasphttps://github.com/ivalab/grasp_multiObject_multiGrasp https://github.com/ivalab/grasp_multiObjecthttps://github.com/ivalab/grasp_multiObject

8、FlowQA: Grasping Flow in History for Conversational Machine Comprehension（2019）

会话机器理解需要理解会话历史，如以前的问题/答案对、文档上下文和当前的问题。为了使传统的单转模型能够全面地对历史进行编码，我们引入了Flow机制，它可以通过交替并行处理结构，将在回答之前的问题过程中生成的中间表示结合起来。与将之前的问题/答案串联起来作为输入的方法相比，Flow更深入地集成了会话历史的潜在语义。我们的模型FlowQA在最近提出的两个会话挑战(CoQA的F1值+7.2%，QuAC的F1值+4.0%)上表现优异。心流的有效性也体现在其他任务中。通过将顺序指令理解降低到会话机器理解，FlowQA在SCONE的所有三个领域都优于最佳模型，准确率提高了1.8%到4.4%。

https://github.com/momohuang/FlowQAhttps://github.com/momohuang/FlowQA

9、Object SLAM-Based Active Mapping and Robotic Grasping（2020）

本文提出了第一个用于复杂机器人操作和自主感知任务的主动目标映射框架。该框架建立在目标SLAM系统的基础上，集成了同时进行的多目标位姿估计过程，以优化机器人抓取。为了减少对目标物体的观测不确定性，提高目标物体的位姿估计精度，我们还设计了一种对象驱动的探索策略来指导目标映射过程，实现自主映射和高层次感知。将测绘模块与探测策略相结合，可生成与机器人抓取相兼容的精确目标地图。定量评价也表明，该框架具有很高的映