华南师范大学研究团队提出基于单一视触觉传感器的多模态触觉感知策略

当前的机器人系统依赖多种传感器来获取触觉信息，这些信息对于机器人感知和与环境交互至关重要。视触觉传感器因其结构简单、分辨率高，已成为研究的热点。然而，目前主流的视触觉传感系统通常采用孤立的光学设计策略和不同的数据处理方法以获取不同模式的触觉信息，这在系统集成方面引入了一定的局限性。

针对上述挑战，华南师范大学的李昕明研究员团队基于视触觉传感系统提出了一种仅使用反射光场信息的多模态触觉感知策略。这种策略不再需要为不同模式的触觉信息设计不同的光学结构，而是通过简单的反射层结合神经网络来同时感知多种触觉信息，从而降低了触觉系统的复杂性。在物体分类、姿态估计、定位和力估计任务中，该系统表现出高精度和高可靠性，展示了多模态触觉集成在各个领域的潜力。该研究成果以论文题为“A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network”发表在国际知名期刊IEEE Transactions on Instrumentation & Measurement上。

基于视触觉传感系统的多模态触觉感知策略

基于视觉的触觉传感器通过捕捉接触引发的表面光学变化，实现了对物体触摸行为的精准检测。当传感器表面受物体接触变形时，其反射特性发生变化，这些变化在触觉图像中表现为局部强度的变动。通过分析这些图像中的反射模式，研究人员能够获取有关接触物体的关键信息，如位置、力的大小和物体的姿态。

本研究提出了一种创新的神经网络方法，以端到端的方式提取触觉图像中的多模态信息。系统首先对原始触觉图像进行处理，生成三个不同维度的特征图，每个图捕捉了图像的不同抽象层次。接下来，这些特征图被融合，以综合利用其互补信息。融合后的特征图被送入一个四通道解码器中，解码器精细设计以提取和转换特征，最终输出物体的位置、类别、姿态和接触力等信息。

性能验证与优化实验

在系统的优化中，研究团队提出了一种基于成像分辨率的触觉分辨率测量方法用于优化对比不同视触觉传感器设计，最终实现了与人类触觉类似的微米级空间分辨率。

在性能验证实验中，视触觉传感与神经网络的紧密结合展现出了卓越的识别能力。通过神经网络的设计引入，所提出策略在多模态触觉信息识别方面表现出色。系统在力识别方面的精度达到了0.2 N，在小力范围内提高至0.1 N；姿态角度的识别误差仅为0.41°，定位精度为0.15 mm。这些数据展示了系统在多种触觉信息精确感知方面的卓越能力。

进一步地，为了检验系统的实际应用效果，团队进行了一系列模拟抓取实验。系统能够精确识别不同接触部位与接触物体类别，且在力和姿态识别上的误差极小，验证了系统的稳定性和可靠性。此外，系统还能准确分类和定位多种常见物体（如USB插头、乐高积木、放大器IC、电位计和螺丝刀），其平均精度（AP值）达到了98.8%，F1分数对于多种接触部件均接近或达到1，进一步证明了系统优异的分类和识别能力。

总结

综上所述，该系统能实时反馈物体的类别、姿态、位置和受力信息，在多模态触觉感知方面展现了巨大潜力，显著提升了机器人在复杂任务中的操作能力。例如，在抓取和插入任务中，系统提供的触觉反馈帮助机器人优化路径规划和力度控制，实现精准操作。这不仅适用于复杂的机器人操作，还可广泛应用于生物医学、研究以及精密制造等领域。随着技术的进步和数据集的扩展，该系统有望进一步提升智能感知能力，推动相关领域的技术进步。