研究背景触觉是我们感知物理环境的重要方式,它帮助我们识别物体、操作物品并加强社交互动。触觉来自皮肤中的机械感受器,这些感受器广泛分布在皮肤的各个区域,通过神经纤维的末端传递刺激信号。最近的研究集中在开发能够快速、可编程地产生触觉感觉的系统,这些系统能够通过薄型、灵活的设备与皮肤的大面积接触,不仅限于指尖。这些技术结合了视觉和听觉系统,能够在扩展现实(XR)应用中提供沉浸式体验,广泛应用于娱乐、社交、医疗和物理康复等领域。结合传感器和执行器的技术,还能够为远程操作和医疗提供闭环反馈,特别是对于截肢者或视听障碍者,可以补充和增强他们的感官功能。然而,目前一些现有的技术由于设备体积大、质量重、附着位置有限,且难以分布成可编程阵列,难以满足沉浸式XR体验的需求。
创新点美国西北大学John A. Rogers院士联合黄永刚院士团队介绍了一种小型执行器技术,可以向皮肤表面施加全方位、可叠加、动态的力,从而刺激单一类别的机械感受器或它们的选定组合。通过这种技术,可以实现高位触觉信息传输和逼真的虚拟触觉体验。通过在人类受试者的感知研究中,展示了在扩展现实应用中的具体效果,包括先进的手部导航、逼真的纹理重现以及音乐感知的感觉替代。
文章解析本文介绍了一种无线实时触觉界面技术,能够在皮肤表面生成可编程的变形,具有完全的运动自由度。该技术通过使用一组可单独控制的线圈来产生磁场,以满足皮肤上所有受体的激活需求。每个执行器利用洛伦兹力与固定磁铁的相互作用来操作,这些磁铁与皮肤接触,从而实现触觉刺激(图1A)。这种方法可以产生正常、剪切、扭转和振动等不同类型的机械刺激,激活皮肤上的不同类型的机械感受器,达到高精度的触觉反馈。通过这种技术,作者能够在不影响皮肤的情况下,针对每种受体进行精确的刺激。执行器设计包括多个不同尺寸的线圈和传感器,利用磁场和电流的变化来控制刺激的方向和强度(图1B)。此外,整个系统通过蓝牙低功耗电子系统和可充电电池实现无线连接,使得该触觉系统能够与便携式XR设备(如智能眼镜、虚拟现实头盔和智能手机)进行协调操作(图1D、E)。图1:具有完整的FOM执行器的多感官触觉接口。
FOM执行器不仅能再现日常触觉体验,还能够通过编程激活皮肤中的机械感受器来传递信息。研究表明,触觉刺激的方向、频率、强度、节奏和位置等参数结合在一起,可以显著增强信息传递。触觉界面能够为视力受限者提供导航或其他输入,作为一种辅助感知系统,不会干扰他们的主要听觉功能。佩戴智能眼镜的人通过背部的FOM执行器引导,成功抓取瓶子和格兰诺拉棒(图4A)。智能眼镜与手机共享视图,手机识别手部和目标物体的位置,并向FOM执行器发送命令。当视觉数据包括深度信息时,导航系统能提供更详细的指导。根据手的位置,相同的命令会产生不同的触觉刺激,作为感知参考坐标。例如,命令将手向上移动时,对于中立手势,会产生x方向的正触觉刺激,而对于掌心朝下的手则转化为z方向的刺激(图4B)。执行器中的IMU测量重力加速度,判断手的姿势并发出相应的命令(图4C)。通过这种触觉导航,个体成功地定位了瓶子和格兰诺拉棒。FOM执行器能够再现指尖的真实纹理感知,利用IMU提供的手指运动方向和速度信息(图4D)。通过摩擦系数和施加的正向力,FOM执行器在指尖表面生成剪切力和振动频率,从而重现纹理感知(图4E和图4F)。在实验中,受试者能够在虚拟的垂直和水平抚摸模式下,96%的成功率区分六种不同的表面(图4G和图4H)。图2:由FOM执行器启用的手动导航系统和复制现实的纹理感觉。
通过触觉界面体验音乐触觉界面作为一种替代感知系统,不仅为听力受损者提供了体验音乐的机会,还能增强没有听力障碍者的音乐体验(图5A)。FOM执行器平台可以将声音波的频率和强度转化为触觉振动力,进行适当的控制。挑战之一是再现音色差异,尽管频率相同,不同乐器的音色不同。FOM执行器通过方向控制,能够产生不同音质的振动,这是传统执行器无法做到的。该技术可以使单个FOM执行器再现不同乐器的音乐(图5B)。具体过程包括使用机器学习算法分离乐器和人声组件,分析其频率和强度,并将这些信息转化为触觉振动。在示例中,音乐中的人声、电吉他和鼓被转化为触觉振动,测试结果表明,触觉界面能够通过单个执行器感知到不同音调的振动,并识别不同乐器(图5C)。图3:替代感:音乐的触觉感知。
读后感作者介绍的微型化皮肤集成触觉执行器平台,能够提供全方位、可叠加的静态和动态力量,精确刺激皮肤上的不同机械感受器,适应未来沉浸式XR体验。通过无线、实时操作,单个或多个执行器能在不同部位高效地产生各种触觉感受。这项技术相比传统触觉界面,能够传输更多触觉信息,并提供更真实的虚拟触觉体验。人体感知测试和实际应用案例展示了该技术在视障导航、纹理感知和音乐感知替代等方面的潜力。未来的研究可能会进一步减小执行器尺寸,提升触觉界面的密度和可贴合性。