【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】

兴家的程序员

已于 2022-04-30 17:00:41 修改

阅读量1.1k

点赞数 2

文章标签：学习交互

于 2022-04-30 16:57:38 首次发布

提出了一种三界面模式。系统可以识别运动想象、手势和眼球运动。脑电图模式用来识别左右移动的意图。肌电图用来识别手势，便于控制机器人。眼电模式用来识别向左看或向右看的眼部运动，也可以通过眨两下眼睛来选择最适合的动作。

实验要求：6名受试者一只前臂带肌电环（myo以200HZ的采样频率采集肌电），一只手带软手机器人。

实验过程：EOG模式下，向左或向右箭头的出现之时受试者用眼睛（向左看或向右看）跟踪箭头的方向，并保持自然眨眼。在EEG模式下，想象中的左手或右手动作依次作为提示显示在屏幕上，显示相应手动作的运动想象，持续2秒钟。每个模式都涉及10个实验，5左5右。每个模式的实验持续44秒。

mHMI运动意图检测和控制软机器人的流程图：在检测用户意图之前，通过每个模式采集10次试验的训练数据，分别计算阈值和训练分类器参数，建立EOG和EEG的训练模型。

mHMI的主要结构和工作流程

实验结果：运动意图分析，比如眼电模式下，处理信号，设置阈值，经过正确识别后，可以将看左、看右信号转换为机器人动作的指令，将眨双眼的信号识别为系统切换模式的命令。经过处理，分别标记出非自愿眨眼、自愿单眨眼和自愿双眨眼；根据三十幅度的正负情况标记出左扫视和右扫视。

在软机器人的帮助下受试者能够根据自己的意图快速地抓取其日常生活中的各种物体。EEG2个动作，EOG2个，EMG5个。

数据处理过程：

在EOG模式下，首先使用零相位FIR低通滤波器对EOG进行滤波，该滤波器具有较低的截止频率0.05 Hz和较高的截止频率45 Hz。然后，利用Daubechies小波的4阶和10个分解级别，通过基于小波变换的滤波EOG得到结果。因此，采用双阈值法建立了EOG模型，识别左视、左视和双眨眼的眼动，并将其转化为相应的命令，分别为弯五指推（S1）、捏五指拉（S2）和模式移位（S0）。

在EEG模式下，首先从EEG信号中去除直流分量和相对于首选公共平均参考的基线漂移，并使用截止频率为0.05的零相位FIR低通滤波器对其进行滤波∼45赫兹。接下来，将EEG中的总平均ERD\/ERS估计为与静息状态前2秒参考间隔相比的功率降低（ERD）或功率增加（ERS）。计算由左侧或右侧MI分别获得的信号的二次和的平均值。使用db4母小波作为平均值，通过Daubechies小波在5个级别提取每个通道中的功率变化（Chen等人，2017）。分别记录在左侧（C3）和右侧（C4）初级感觉运动皮层中央区域的EEG平均值之间的差异得到，ERD和ERS使用差异归一化计算。然后构造一个最优超平面作为两类特征分类的决策面，然后选择合适的核函数RBF，根据支持向量机（SVM）的原理，在MATLAB 2010a（MathWorks，Inc.）下使用MATLAB函数“svmtrain.m”确定决策面参数。最后，将处理后的脑电数据输入到SVM分类器的训练模型中，然后从测试集上的测试模型中得到分类结果。结果很容易转化为三指抓握（S3）和拳头（S4）命令来控制软机器人。

在肌电图模式下，如果大多数主要的手臂肌肉还可以正常运动，受试者可以在手臂上佩戴MYO，并练习五种基本手势。所有操作的详细信息也可以在网站上的MYO support上找到（Labs，2018a）。Myo Connect的应用程序编程接口用于从前臂的肌电活动中实时获取手势数据，并将肌电输入到打包的模式识别算法中，对手势进行分类，这些手势成功地转换为相应的控制指令（如S5、S6、S7、S8、S9和S10）。

运动意图分析：

眼电：

如A所示，根据不同的电压分布范围，采用眼电检测方法。第一个子图描述了原始EOG与小波去噪后信号的比较差异。在第二个子图中，如果信号大于第一个阈值180μV，则眨眼被认为是有意义的；否则将被忽略。图5B描绘了扫视检测的过程。第一个子图显示了获得4个扫视单的原始EOG。第二部分基于小波变换对其进行重构。将一些有噪声的随机信号分解为小的阶梯信号，可以从信号的点差分中得到单值脉冲信号，因此应将阈值设置为30μV以正确识别脉冲信号。如果达到或超过阈值，则脉冲信号要么被视为扫视信号，要么被忽略。校正后的扫视信号如第三子图所示：如果脉冲信号为正，则表示向右看；否则它表示向左看。经过正确识别后，可以将看左、看右信号转换为机器人手弯五指推、捏五指拉的命令，将双眨眼信号转换为系统切换模式的命令。经过EOG处理后，相同的部分用条形图标记为相同的颜色。(A)是基于EOG的眨眼处理结果，阈值1、2和3眨眼向量的分别代表非自愿眨眼，自愿单眨眼和自愿双眨眼，(B)是扫视，如果扫视幅度为正数，则表示左扫视(蓝色)，否则表示右扫视(绿色)。

脑电：

通过相关事件去同步化和同步化从脑电信号中提取反应感觉运动的脑活动的生理现象。在每个受试者10次实验出现提示前2秒，计算得到C3\C4的总平均ERD\ERS频率范围是8-12HZ. 图6显示了不同情况下左手或右手运动想象的平均ERD\/ERS。为了直观地发现大脑活动，并确定ERD和ERS的百分比值，在红线下方带有菱形的蓝色线区域代表ERD（功率降低），绿色线的剩余区域代表ERS（功率增加），在左侧和右侧MI（提示出现后的时间段2 s）期间。脑电图显示对侧（如C3或C4）有明显的ERD（蓝色区域）和相对较浅的ERS（绿色区域）。该特征反映了信号特征的变化，因此可以识别左手或右手运动想象。

肌电：

提取表面肌电的共同特征：如平均绝对值、波形长度、过零、斜率符号变化和平均绝对值斜率，用来手势识别和分类。