Benchmarking the Sim-to-Real Gap in Cloth Manipulation

Benchmarking the Sim-to-Real Gap in Cloth Manipulation

提出了评估柔性物体模拟器的相关指标。
可变形物体操作是家用和工业场景中至关重要的组成部分，但由于其无限自由度使得它们在世界中的状态表示相当困难，其次，复杂动力学使得动态操作变得相当困难、不可建模。
部分工作在真实环境中进行数据采集和训练，但这种方法无法保证数据采集效率和训练过程的安全性，因此，借助仿真引擎构建操作框架有一定必要性。
过去有大量研究在仿真环境中对控制器进行评估和改进，但模拟器对可变形物体的近似建模导致其与现实具有一定差距，尤其是在执行动态操作任务时，长期预测的误差积累更明显，但没有相关的指标用于衡量这一迁移误差。
因此，本文公开了一个布料操作数据集，并对现有流行的模拟器进行测试，评估了物理引擎模拟动态空气中操作和准静态接触操作不了的能力。

相关工作

可变形物体仿真

主要区别在于动力学模型：

• 基于质点的系统：质点-弹簧模型；基于位置的动力学。
• 本构模型：有限元法。
  模拟器真实性测量：没有评估动态可变形物体的现实差距
• 在刚性物体操作任务中测试了不同模拟引擎的准确性。
• 优化不同模拟器的参数后测量了模拟刚体接触的误差。

可变形操作的基准

大多数可变形物体操作的工作都集中在评估仿真引擎中的多种算法或评估将技能转移到真实世界时的差距。用于训练学习算法的仿真的实际差距，这会导致在以零样本的方式进行似真迁移时表现不佳。
过去的工作尝试利用真实数据对模拟器进行微调，但大多局限在准静态任务当中。

Benchmark 设计

将布料初始化为夹爪夹持状态，通过多项式定义了动态摆动和与台面接触的拖动两个动作来评估两种不同的动力学：无接触织物的动力学&服装与刚性物体接触的动力学。
操作对象是尺寸相同的三种不同面料，在甩动时具有不同的动态效果，用RGB-D传感器捕捉数据集的点云，通过比较真实设置的密集点云与模拟器网格进行比较度量，使用MiVOS对RGB图像进行分割过滤不属于服装的点云。

度量指标

测量两个点云集之间的距离，本文采用CD和HD距离，不需要点云之间的对应关系，使用单向对应关系以解决不同网格分辨率和自遮挡导致的不完整点云。
其中，CD为第一组点云到第二组点云的最小距离的平均值，HD为第一组点云到第二组点云的最小距离的最大值，本文发现用1范数对异常值的鲁棒性更好。

实验设计

本文度量模拟器效果的思想很直接且有效，从真实世界中收集标准化数据后在模拟器中进行演示，以每个时间步上的点云集距离作为度量模拟器的依据。

定量结果

定性结果

参考论文官网界面，MuJoCo的整体效果最好。
https://sites.google.com/view/cloth-sim2real-benchmark