​多模态系统下软体机械手对多种意图的精准实时控制

脑机接口（BCI）技术在运动康复中表现出广泛的潜力，主要依靠神经可塑性来恢复运动功能并改善中风患者术后的生活质量。不过一般单纯依靠EEG信号输入的BCI系统通常很难自然地实时传达多任务软体机器人所需的各种控制命令。而多模态人机界面系统(mHMI)，集合眼电信号(EOG)、脑电图(EEG)和肌电图(EMG)的特征来生成多维控制指令，有助于构建更友好、人性化的BCI辅助系统，帮助残疾人及运动障碍患者更便捷地完成基本动作。

 1   训练测试阶段

mHMI结合了EEG、EOG和EMG模式，为一个完全集成的系统。实验过程中，用脑电帽检测EEG和EOG运动，Myo臂带检测EMG信号，跟踪手臂运动。软体机器人由一个轻便舒适的手套、执行器、控制面板和一个微型气泵组成，能够安全地执行所有的关节屈伸组合。系统测试阶段为三种模式(EOG、EEG和EMG)交替过程，用户可以在任何时候反复改变并发送EOG指令给机器人。而当EOG检测到双闪烁时，系统自动进入EEG模式，而任何时候双闪都可以使系统重新进入EOG模式，从而实现三种模式的交替。

图1 实验条件和控制系统展示，mHMI在手部测试过程中的使用原理 (A)为mHMI和实验条件的原始模型；(B)为控制系统和软体机器人手的示意图。

图2训练测试范式和模式交替过程的实验结构

图2(A)为根据屏幕上的呈现或计算机发出的提示进行训练和测试阶段的试验程序，EOG、EEG和EMG模式的时间范围分别为0 ~t1、t2 ~ t3和t4 ~ t5。交替模式的时间范围分别为t1 ~ t2、t3 ~ t4和t5 ~t6；(B)为模式交替圆环表示，描述了三种模式下根据被试意图以双闪烁开始的模式交替过程。

运动意图检测和机器控制

mHMI系统可以充分利用每种模式的优点，在检测用户意图之前，通过每个模式的训练数据建立三种训练模型，利用双阈值法建立EOG模型，识别左视、左视和双眨眼的眼动，并将其转换为相应的命令，将处理后的EEG数据输入到训练好的SVM分类器模型中，然后从测试集上的测试模型得到分类结果。在EMG模式下，将EMG输入到封装好的模式识别算法中，对手势进行分类，并将手势成功转换为相应的控制指令。线上系统控制主要目标是保持三种数据记录的同步性和控制命令是协调，主要通过人体和环境交互训练、联机或脱机数据采集的硬件支持、硬件和软件之间的交互训练和软件集成平台的完善来实现。

图3 利用mHMI检测和控制软体机器人运动意图的流程图。

图4  mHMI的主要结构和工作流程

 2   实验结果

mHMI的优点之一是结合了EOG、EEG和EMG三种模式来检测运动意图，并对每种模式下运动意图的显著特征进行分析和比较。该研究中，相比单模态分析，mHMI不仅增加了控制命令的数量，而且提高了分类的准确性，所有被试都成功地使用mHMI完成了控制任务。

图5 眨眼和眼睛扫视检测的识别结果

图6 检测左手或右手MI时，C3和C4电极上的ERD/ERS与相应的静息状态分别比较。

图7 手部动作结果分别呈现。

在软体机器人的协助下，被试能够根据自己的意愿快速抓取日常生活中的各种物体。

该系统中mHMI能够检测11种运动意图，准确率达93.83%，能够以友好、方便的方式实时控制软机器人，为健康或残疾人提供手部运动的帮助，也为多模态系统的优化方向提供一个前沿的思路。未来的工作中可能更倾向于满足BCI系统基于该模式下的便携性、经济性和同步多信息采集性能，以提高控制命令、控制速度、ACC和实用性。同时，应进行mHMI，以辅助慢性脑卒中患者手部运动功能的恢复。

原文：

Zhang Jinhua, Wang Baozeng, Zhang Cheng, Xiao Yanqing, Wang Michael Yu. An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand. JOURNAL:Frontiers in Neurorobotics

https://www.frontiersin.org/article/10.3389/fnbot.2019.00007

DOI:10.3389/fnbot.2019.00007