手势和力度同步识别的假肢手交互，有效缓解残肢肌肉疲劳

研究背景

肌电意图识别在过去几十年的关注点主要集中在实现高精度手部运动解码方面，大部分研究都是基于相同力度等级执行。虽然也有研究人员关注通过sEMG解码力意图[1, 2]，但手部运动和力度等级的解码通常是独立进行的，这与人类涉及复杂的运动和力度同时变化的日常生活活动相悖，因此如何在力度变化的场景下实现鲁棒的肌电意图识别也是个亟待解决的关键问题[3]。

创新点
神经系统及康复领域顶刊IEEE Transactions on Neural Systems and Rehabilitation Engineering 发表研究工作“Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand”.

针对不同的力度等级和不同的手势设计了一个实时肌电假肢手控制框架：通过多任务学习技术实现了基于sEMG同时识别多手势和多力度等级任务，并为截肢受试搭建了具备触觉反馈的假肢手控制系统，完成了一系列的日常抓握任务，包括抓握水果、倒水等数项力量敏感实验，为截肢受试提供了更优的人机交互方式，以帮助其在操作任务中更方便、更舒适地使用假肢手。
文章解析
所提出的基于sEMG同时识别手势和力度等级的控制框架如图1所示。首先通过sEMG传感器和力传感器收集数据，将其作为神经网络进行离线训练的输入数据，然后实时读取sEMG数据，并将其输入经过训练的模型，以进行在线控制假肢执行抓取任务。

图1 所提出的基于sEMG同时识别手势和力度等级的控制框架（文中图1）

文中提出的新型控制框架的是通过多任务学习结构实现手势与力度等级同时识别的关键功能，具体来说，本研究基于卷积神经网络(CNN)设计了G&F-CNN (Gestures and Force levels CNN)网络结构：G&F-CNN首先通过6个共享卷积层提取二维sEMG图像中与手部运动相关的特征，然后根据不同任务通过在共享层数之后添加卷积层、flatten层和Softmax来设计任务模块，以实现多任务的同时执行，G&F-CNN网络结构如图2所示。

图2 G&F-CNN网络结构（文中图4）

本文将G&F-CNN与LSTM、支持向量机(SVM)和 CNN+LSTM进行了多组实验对比（实验结果如图3所示），验证了G&F-CNN的优越性：健康受试的手势识别平均准确率达到94.75%，力度等级的平均识别准确率为86.5%；截肢受试的手势识别平均准确率为78.3%，力度等级识别的平均准确率为76.3%。

图3 实验结果汇总（文中图5）：(a-b)不同算法在手势/力度等级识别任务中的表现；(c-d)不同学习方法和不同传感器数量的组合对手势/力度等级识别任务的影响；(e-f)双手协同实验范式与普通实验范式下手势/力度等级识别的结果。

此外，本文还提出了新颖的基于平均功率频率评估受试的肌肉疲劳程度：为了证明受试者使用不同的力度等级可以使操作更舒适，本研究要求受试者以不同的力度等级进行重复实验，直到他们感到疲劳。以握拳动作为例，通过观察sEMG信号的幅值变化估算出受试处于不同力度等级时的疲劳时间，高强度水平时大约在38s左右开始疲劳，中等力度等级时则为120s左右，处于低力度水平时无明显变化。通过对估算疲劳时间段的sEMG信号进行基于平均功率频率的分析发现，处于中、高力度等级时疲劳前后中值频率有显著差异，验证了疲劳的事实，实验结果如图4所示。

图4 不同力水平疲劳前后平均工频的比较（文中图10）：(a-b) 低力度等级疲劳前后平均功率频率的比较；(c-d) 中等力度等级疲劳前后平均功率频率的比较；(e-f) 高力度等级疲劳前后平均功率频率的比较。

最后，本文所提出的新型实时肌电假肢手控制框架成功应用于截肢受试身上，并完成了数项涉及不同手势和力度等级的日常生活活动。不同的物体被不同的手势抓住，如握住水瓶的包裹手势、抓握乒乓球的两指捏合手势以及抓住橡皮球的三指捏合手势。此外，受试可以使用低力度等级抓握轻盈物体、使用高力度等级抓握重物，在抓握介乎两者的物体时，则可以使用中等力度等级。多项抓握任务表明，所提出的控制框架使得受试与假手交互的方法更加灵活的同时，有效提高其抓握能力并能一定程度缓解残肢肌肉的疲劳。

图5 截肢者和假手之间手势和力度等级同时交互（文中图14）

读后感
本文设计了一种实时肌电图假肢手控制系统，用于对手势和力度等级的同时识别，能实现在线识别具有三个力度等级的三类手势，有助于改善受试与假手的交互。赋予受试与假肢交互力度的能力可以实现更精细的控制，缓解肌肉疲劳，帮助截肢受试在日常生活中更方便、更舒适地使用假肢。该研究具有巨大的应用潜力，可应用于日常生活操作和人机交互场景，例如与眼电信号和sEMG形成混合的脑机界面操作系统，通过手势控制轮椅等。