Nature Communications 多模触觉-视觉融合机器人：用于灵巧机器人做家务

随着机器人越来越多地参与人类日常生活，对模仿人类能力的追求推动了机器人多模态感官的进步。然而，目前的感知技术仍然不能满足机器人在家庭任务/环境中的需求，特别是在多感官整合和融合、快速反应能力和高灵敏度感知方面面临着巨大的挑战。
为了解决这一问题，近日，清华大学朱荣教授团队报告了一种柔性触觉传感器，利用薄膜热敏电阻来实现压力、温度、物质热特性、纹理和滑动的多模态感知。值得注意的是，触觉传感器具有超灵敏(0.05 mm/s)和超快(4 ms)的滑动感知，这对于灵活可靠的抓取控制是必不可少的，以避免压碎易碎物体或掉落光滑的物体。作者还进一步提出并开发了机器人触觉-视觉融合架构，无缝地覆盖了从底层到顶层机器人决策的多模态感觉。一系列具有快速滑动反馈控制的智能抓取策略和触觉-视觉融合识别策略能确保机器人灵巧的抓取和准确识别日常物体，处理各种具有挑战性的任务，例如抓取装有液体的纸杯。此外，作者展示了一个机器人桌面清洁任务，机器人自主完成多物品分类和清洁桌面，展示了它在智能家务方面的巨大潜力。

图1 可完成复杂任务的触觉-视觉融合机器人

图2 多模态触觉传感器的结构、工作原理和功能

图3 滑动检测和纹理识别表征

图4 触觉-视觉融合机器人的架构

图5 基于触觉-视觉融合的物体分类和桌面清理识别策略