ICRA 2024：基于视觉触觉传感器的物体表⾯分类的Sim2Real双层适应⽅法

⼈们通常通过视觉来感知物体表⾯的性质，但有时需要通过触觉信息来补充或替代视觉信息。在机器⼈感知物体属性⽅⾯，基于视觉的触觉传感器是⽬前的最新技术，因为它们可以产⽣与表⾯接触的⾼分辨率 RGB 触觉图像。然⽽，这些图像需要⼤量的数据进⾏训练，⽽在现实世界中收集这些数据可能很困难。虽然已经提出了模拟器来解决这个问题，但它们很难以⾼保真度重现机械特性和光分布效果。因此，本⽂旨在通过使⽤从DIGIT传感器收集的少量真实未标记图像训练扩散模型（Diffusion Model）来填补模拟和真实图像之间的差距。

论⽂地址: https://arxiv.org/abs/2311.01380

作者提出了⼀个可以区分平⾯、曲线、边缘和⻆落四种类别的表⾯分类器，并使⽤从 YCB 模型集中的对象表⾯均匀采样的模拟图像进⾏训练。为了标记这些图像，作者在对象⽹格上采样点云，并使⽤⾃动过程评估每个点的局部曲率来提取标签。作者在⼗个 3D 打印的 YCB 对象上测试了分类器，并与仅使⽤模拟图像训练的分类器进⾏了⽐较。实验结果表明，作者的⽅法在分类任务中取得了更好的准确性。

1.相关⼯作

作者对⽐了其他基于视觉触觉传感器的物体表⾯分类的相关⼯作。

在 Sim2Real ⽅⾯，⼀些⼯作通过模拟真实传感器的⾏为来减⼩ Sim2Real 差距。还有⼀些⽅法试图减⼩模拟和真实图像之间的领域差异。与之不同，作者的⼯作是利⽤来⾃ TACTO 的模拟图像，通过在真实图像上训练的 DM 进⾏转换，以模拟凝㬵的真实变形和传感器的光传输。

Learning to Read
Braille: Bridging the Tactile Reality
Gap with Diffusion Models
https://arxiv.org/abs/2304.01182
这份⼯作中也采取了类似的⽅法，但是其使⽤的 DM