sim2Real2 Actively Building Explicit Physics Model for Precise Articulated Object Manipulation

概述

accepted：ICRA2023
项目主页
作者：清华团队

论文解读

方法架构

• 交互感知阶段Interactive Perception phase：affordance预测模块+one-step交互
• 显式物理模型构建阶段Explicit Physics Model Construction phase：由两个点云构建物体的可交互模型
• 基于采样的MPC阶段Sampling-based Model Predictive Control phase：现在仿真器中规划一个long-horizon轨迹，再在真实机器人中执行

实现

Interactive Perception module：where2act[22]。在其基础上进一步生成机器人的关节轨迹，因为where2act只考虑了flying gripper，最有的proposal往往不在机器人dexterous workspace中。
Explicit Physics Model Construction module：ditto[25]。关节物体的显示模型要包括所有部件的几何形状，以及各相邻部件之间的运动学关系。tips:在此工作中只考虑单一移动或旋转关节，且base link固定。与Ditto不同的是使用single-view point cloud输入。隐式表示：neural representation and extract the meshes,显式表示：URDF
Sampling-based Model Predictive Control module：CEM[21]， ManiSkill2 and ManiSkill2-Learn。输入物体模型和期望的物体关节状态 s