论文学习 --- RL EARL Eye-on-Hand Reinforcement Learner for Dynamic Grasping with Active Pose Estimation

前言和研究背景目的

个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)
文章出处：https://arxiv.org/abs/2310.06751

本文探讨通过主动位姿跟踪和强化学习实现手眼协调系统的动态抓取移动物体的能力。目前大多数基于视觉的机器人抓取方法隐含地假设目标物体是静止的或可预测的运动。然而，抓取不可预测运动的物体则提出了一系列独特的挑战。例如，预先计算的稳健抓取可能会因目标物体的移动而变得不可到达或不稳定，并且运动规划也必须具有适应性。本文提出了一种新的方法，称为Eye-on-hAnd Reinforcement Learner（EARL），以使耦合的手眼（EoH）机器人操纵系统能够在不进行显式运动预测的情况下执行实时主动位姿跟踪和动态抓取。EARL能够解决自动手眼协调中的许多棘手问题，包括快速的6D物体位姿跟踪、学习控制策略以使机器人手臂在跟踪移动物体的同时保持物体在摄像头视野内，以及执行动态抓取。

研究理论

如何实现位姿检测

为了实现6D物体位姿检测，本文提出了一种基于主动感知的手眼系统。系统利用绑定在机器人手臂末端的RGB-D摄像头，通过连续跟踪和主动调整摄像头位置来保持目标物体在视野中。具体方法包括使用BundleTrack方法，通过关键帧保持和在线姿态图优化来实现6D物体位姿的快速跟踪。

这里先介绍一下要用到的技术

BundleTrack（位姿跟踪）

BundleTrack 是一种用于实时6D物体位姿跟踪的方法，结合了关键帧保持和在线姿态图优化。具体来说，BundleTrack通过以下步骤实现高效的6D物体位姿跟踪：

1. 关键帧保持：在初始帧中检测并保存目标物体的关键帧特征。这些关键帧用于后续帧中的特征匹配和位姿优化。
2. 在线姿态图优化：在每个新帧中，通过匹配当前帧的特征和关键帧特征，估计目标物体的6D位姿。然后，通过最小化特征匹配误差进行姿态优化。
3. 特征提取和匹配：使用R2D2特征检测器提取图像中的稀疏特征点，并通过特征匹配算法在帧间进行特征对应。

Alpha-Refine（BBOX精确化）

Alpha-Refine是一种用于边界框精