生物启发式AI系统：超越纯视觉识别，融合体感的手势识别更精准

在过去的十年中，手势识别已经成为世界公认的有价值的人工智能技术，并且已经在高精度外科手术机器人、健康监测设备和游戏系统等领域实现了广泛的运用。

“数据融合”通过整合可穿戴式传感器的输入，改进了最初仅基于视觉的AI手势识别系统。可穿戴式传感器可重建皮肤的感知能力，即我们所说的 “体感”。

但由于可穿戴式传感器的体积大，与目标物体接触不良的现象频发，以及视觉上受阻和光线不足等问题，可穿戴式传感器提供的数据质量通常较低，这就为视觉和感官数据的集成带来了挑战。

为了应对这些挑战，来自新加坡南洋理工大学（NTU）的团队创建了一个基于“生物启发”的数据融合系统。

这项研究的论文题为“Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors”（https://www.nature.com/articles/s41928-020-0422-z），目前发表在《自然电子学》（Nature Electronics）期刊上。

通过在一个系统中结合卷积神经网络和稀疏神经网络，NTU的科学家们成功地研发了 “生物启发”式AI系统。卷积神经网络是一种多层神经网络，用于早期的体感信息处理，而稀疏神经网络能够实现视觉和体感信息的融合。

二者结合的结果是该系统可以比现有方法更准确、更有效地识别手势。

生物启发体感-视觉关联学习框架，来源：Nature Electronics

该研究作者之一，NTU材料科学与工程学院的陈晓东教授说：“我们的项目概念源于人脑处理信息的方式。”

“在人脑中，思维、计划、灵感等高感性活动不仅依赖于特定的感官信息，其同时属于不同感官的多种感官信息的综合整合。这启发了我们结合视觉信息和体感信息来实现高精度的手势识别。”

为了从手势捕获可靠的感官数据，研究团队制造了一种附着在皮肤上的透明的、可拉伸的应变传感器。

“刚性穿戴式传感器无法紧密地与皮肤接触，无法准确收集数据。我们创新使用了贴附在皮肤上的可拉伸应变传感器，实现了高质量的数据采集，这对精确识别手势有重要意义”。

可拉伸应变传感器，来源：Nature Electronics

为了检测系统识别的准确性，团队成员通过手势控制并引导机器人走出迷宫，测试了他们的“生物启发”式AI系统。

结果表明，与仅仅基于视觉的识别系统产生六个识别错误相比，由生物启发的AI系统驱动的手势识别能够以零错误引导机器人走出迷宫。

在噪音和照明差的条件下进行测试时，“生物启发”式AI系统也保持了较高的准确性，识别准确率高达96.7％。

实验数据结果，来源：Nature Electronics

该研究的第一作者王明博士说：“生物启发式系统能够实现高精度识别的秘诀在于，视觉和体感信息可以相互作用并相互补充。因此，该系统可以合理地收集冗余较少的数据并较少感知模糊性的信息。”

德国马克斯·普朗克胶体与界面研究所所长Markus Antonietti教授发表了独到的见解。他认为，该项研究成果能够使我们向更智能、更受机器支持的世界迈进。

就像智能手机的发明带来的革命一样，该项研究成果使我们看到了通过手势可靠地、精确地对世界进行物理控制的希望。

参考：

1.https://www.nature.com/articles/s41928-020-0422-z

2.https://yivian.com/news/77347.html