FOTS:一种用于机器人操作技能Sim2Real学习的快速光学触觉仿真器

类 GelSight的视触觉传感器具有高分辨率和低制造成本的优势，但是在与现实中的物体进行频繁接触时易受磨损。而触觉仿真器可大幅降低硬件成本，同时为后续技能学习任务提供仿真训练环境。为此，来自东南大学自动化学院的钱堃副教授研究团队和伦敦国王学院的Shan Luo副教授研究团队联合提出了一种快速光学触觉仿真器（Fast Optical Tactile Simulator, FOTS），用于模拟不同接触负载下的触觉光学和锚点运动场信息。论文发表于IEEE RAL，第一作者是东南大学自动化学院的硕士研究生赵永强。

论文的贡献主要有两个方面：一方面，使用多层感知器映射和平面阴影生成来模拟光学响应；另一方面，通过建模不同接触负载下的锚点分布函数来模拟由弹性体变形引起的锚点运动。仿真器现已开源，代码网址为https://github.com/Rancho-zhao/FOTS。

一、方法

下图为提出的快速视触觉仿真器FOTS的总体框架图，涉及到包括光学响应（包括光照和阴影）仿真和锚点运动仿真两个方面。

图1 FOTS总体框架图

（1）光照仿真：基于传感器涂层膜的反射光均匀分布、阴影仅取决于局部表面法线的假设，使用多层感知器（Multi-Layer Perceptron，MLP）通过将接触几何梯度映射到光照强度来模拟传感器的光学信号，即利用从一个触觉传感器的弹性体表面生成的高度图，能够根据每个点的表面法线推导出触觉图像的光照强度。下图为多层感知器的训练数据采集与触觉图像生成过程：

图2 使用MLP将几何梯度映射到图像光照强度

（2）阴影仿真：先前用于光学触觉传感器的阴影模拟方法要么依赖于物理引擎渲染，要么由于曲面计算而对非平坦传感器（如DIGIT）效率较低。为此，考虑基于现实世界中阴影产生的原理，使用平面阴影生成方法来消除平台依赖性并加快阴影模拟，该方法可以分别生成每个光源的阴影，且适用于不同触觉传感器中使用的点光源（如DIGIT）或者平行光源（如GelSight）。

图3点光源（a和b）和平行光源（c和d）下的阴影形成。（a）、（c）分别展示了不同光源下的平面阴影生成场景；（b）、（d）分别展示了如何通过不同时间的多个接触位置来确定光源的位置或方向

（3）锚点运动场仿真：通过建模锚点位移分布函数，来直接近似锚点运动与接触几何之间的关系，同时避免由于噪声或标定问题引起的误差。与需要精确的弹性体形变模型（如基于有限元分析FEM的方法）或者测量锚点位移的力/力矩信息的仿真方法相比，这种建模锚点位移分布函数的方法更高效，且对照明条件、弹性体材料等因素更具鲁棒性。如下图所示，考虑与法向（Normal）、切向（Shear）和扭转（Twist）负载相对应的三种类型的锚点运动，分别建模不同负载下的锚点位移分布函数，然后将它们组合起来模拟总体的锚点运动。

图4 不同负载下锚点运动模式

二、实验结果

实验结果表明，FOTS在图像生成质量和渲染速度方面优于其他方法，在CPU上实现了28.6fps的光学模拟和326.1fps的锚点运动模拟。光学仿真和锚点运动场仿真实验结果如下图：

图5 （a）针对DIGIT传感器，FOTS与其他仿真方法的比较；（b）不同压痕深度和位置的光学仿真结果；（c）方法应用到不同GelSight传感器上

图6 （a）DIGIT传感器的锚点运动场模拟结果；（b）GelSight传感器的锚点运动模拟，其标记布置不同于DIGIT传感器；（c） 锚点自身扭曲情况

三、触觉驱动的机器人操作技能Sim2Real学习

由于FOTS对触觉传感器的光学和机械响应的快速模拟能力，在触觉驱动操作任务中的Sim2Real迁移性能方面也表现出色。下图所示的框架是利用FOTS在仿真器中学习机器人插孔策略并Sim2Real迁移到实物域的结果。

图7 （a）Sim2Real策略学习与迁移框架（使用带有锚点的GelSight传感器）；（b-d）长方体、圆柱体和六边形物体的现实实验示意图（包括相应的触觉锚点图像），蓝色框显示插入姿势调整，红色框显示插入尝试

四、结论与展望

论文提出一种快速光学触觉仿真器FOTS，使用多层感知器映射和平面阴影生成来模拟光学响应，同时应用锚点分布近似来模拟锚点的运动。该方法在快速生成触觉图像和触觉流的同时质量也达到了较高的精度。此外，FOTS在触觉驱动的插孔任务上也表现优异，并成功进行了Sim2Real迁移实验。然而，仿真与现实之间仍然存在差距，可将其归因于两个因素：1）难以完全模拟接触物体的物理特性；2） 该方法无法完全模拟锚点运动，例如在实际接触情况下常见的倾斜扭矩负载下的运动。未来可以将力/扭矩模块集成到仿真器中，以进一步减小视触觉传感器的Sim2Real域间差。