普林斯顿大学最新研究成果分享：用于视触觉传感器的感知抓取学习模型预测控制LeTac-MPC

抓取任务是机器人中的一项关键任务, 这篇论文介绍了一种基于学习的触觉反应抓取模型预测控制(LeTac-MPC), 将触觉反馈和一个可学习的MPC层结合, 使得抓取任务能够根据不同物理性质, 形状, 大小的物体给予适当的力, 并且能实时响应(25Hz)。

论文地址: https://arxiv.org/abs/2403.04934

机器人抓取任务有以下三个挑战:

1. 复杂的物体物理属性。不同的物体可能具有不同的物理性质, 而现有的触觉感知方法通常假设被抓取的物体是刚性的, 并且基于视觉的触觉传感器可能对于较软的物体不太敏感, 这使得基于模型的控制器很难从触觉反馈中获得高质量并且稳定的信号, 并且模型的泛化能力较弱。

2. 动态抓取与力的交互。在动态抓取任务中,被抓取的物体可能会受到惯性力和意外碰撞, 如果抓取器反应不够灵敏, 物体可能会从抓手中掉落。此外, 如果使用较大的抓取力,可能会破坏相对脆弱的物体。因此, 设计一个能够根据物体的物理属性和状态来调整抓取力的控制器是一个挑战。

3. 高分辨率触觉反馈的集成。
   传统的控制方法基于低维反馈信号,需要从触觉图像中提取所需信息进行降维, 但许多特征提取方法都对物体的物理属性和形状做了假设, 难以泛化应用到不同的物体。
   此外,基于机器学习的方法虽然可以处理高维观测量, 如视觉和触觉图像, 但往往忽略了收敛性, 响应速度, 控制频率和约束条件,因此不太适合需要快速反应的任务。
   因此, 作者提出了LeTac-MPC, 一种基于学习的模型预测控制(MPC)方法用于触觉反应性抓取。该控制器可以在25Hz的频率下运行, 并且可以根据不同物体动态调节力的大小。
   

4. 相关工作
   作者从三个方面(触觉控制, 触觉抓取, 学习用于操控的物理特性)介绍在控制和学习中利用触觉传感器的先前研究。在触觉控制方面, 先前的方法假设物体为刚性物体,