24年8月来自英国爱丁堡大学和华为诺亚实验室的论文“Learning Precise Affordances from Egocentric Videos for Robotic Manipulation”。
Affordance,即目标提供的潜在动作,对于机器人操作任务至关重要。深入了解affordance可以带来更智能的人工智能系统。例如,这种知识可以指导智体抓住一把刀的刀柄切割,而抓住其刀片传递给某人。本文提出一个精简的affordance学习系统,该系统涵盖数据收集、有效的模型训练和机器人部署。首先,自动从以自我为中心的视频中收集训练数据。与以前仅关注于目标可抓取的affordance并将其表示为粗略热图的方法不同,本文涵盖可抓取(例如,目标手柄)和功能 affordance(例如,刀片和锤头),并使用精确的分割掩码提取数据。然后,提出一个有效的模型,称为几何引导 affordance transformer (GAT),用于对收集的数据进行训练。 GAT 集成深度特征注入器 (DFI),结合 3D 形状和几何先验,增强模型对affordance的理解。为了实现面向affordance的操控,进一步引入了 Aff-Grasp,一个将 GAT 与抓取生成模型相结合的框架。为了进行全面评估,创建一个带有像素级注释的affordance 评估数据集,并为机器人实验设计真实世界的任务。
如图所示,人-目标交互中affordance的学习流程中仍然存在两个限制:(1)重点只在于人类如何抓握目标(可抓握性 affordance),而不是工具的哪一部分正在被使用(功能性 affordance)。 (2)affordance是通过概率分布来学习和表示的,这些概率分布粗糙且嘈杂,因此很难应用于现实生活中,而且容易受到干扰。
为了解决这些限制,该工作旨在从以自我为中心的视频中联合学习目标可抓取和功能的affordance,专注于生成精确的分割图而不是粗略的热图。具体来说,为了避免昂贵且耗时的手动注释,提出一种自动化流程来收集数据而无需人工劳动。给定一个以自我为中心的视频,该流程首先从手-目标交互中提取目标上的可抓取点,从工具-目标交互中提取功能点。由于目标在交互过程中经常被手或工具遮挡,用现成的手-目标检测器 [64] 来识别即将发生接触的预-接触帧。然后,通过单应性 [68] 或点对应将提取的点投影到预接触帧。最后,这些可抓取点和功能点被用作提示,并输入到 SAM [33] 中获得部件分割。从两个大型以自我为中心的视频数据集中收集训练数据:Epic-kitchens [11] 和 Ego4d [25]。
尽管数据是以无注释的方式收集的,但它对模型训练提出了重大挑战。大多数训练样本的分辨率都很低,裁剪区域通常只占原始帧的 5%。此外,运动模糊、遮挡和单应性估计等因素会使生成的训练样本模糊和嘈杂。为了解决这些问题,本文提出GAT,包括一个简单有效的DFI,用于在训练期间整合几何信息。DFI 允许模型结合 3D 几何进行预测,而不是仅仅依赖于模糊的外观。此外,当用训练源域显著不同的数据进行评估时,该模型的性能较差。为了解决这一域差距,用视觉基础模型 DINOv2 [54] 作为图像编码器,其已在来自各个域的数据上进行训练。保持 DINOv2 不变,并用LoRA [27] 进行微调,增强模型的泛化能力并防止过拟合。训练后,将 GAT 与机器人操作的一个抓取生成模型相结合,并将该框架命名为 Aff-Grasp。Aff-Grasp 可以根据不同的任务要求自适应地抓取目标,并识别目标的功能 affordance 以完成任务。数据自动采集和标注的流水线如下图所示:
为了全面展示数据收集和模型训练的有效性,从两个角度进行评估。首先,从几个现有的 affordance 数据集和互联网资源中收集和注释 721 幅图像,创建一个具有挑战性的评估数据集,以极大的多样性评估模型的性能。其次,设计一个现实世界的机器人操作评估,其中包含 7 个任务和 34 个不同的目标。如果模型做出了正确的affordance分割,机器人抓住了正确的可抓取部件,并将功能部件应用于目标物体,则该任务被视为成功。
GAT 的架构如图所示:由 DINOv2 图像编码器、深度特征注入器、嵌入器和 LoRA 层组成。该模型通过计算上采样特征与可学习或 CLIP 文本嵌入之间的余弦相似度来执行分割。
Aff-Grasp 的框架如图所示:它首先使用开放词汇检测器来定位场景中的所有目标,然后将其发送到 GAT 以确定它们是否具有任务所需的相应affordance;之后,一个 6 自由度抓握生成模型,利用目标的可抓握affordance和深度图来估计潜在的抓握姿势。最后,机器人执行affordance-特定的顺序运动原语,将功能部件应用于目标。