一种基于VR和肌电实时反馈的脑卒中后运动想象训练系统

A VR-Based Motor Imagery Training System With EMG-Based Real-Time Feedback for Post-Stroke Rehabilitation
一种基于VR和肌电实时反馈的脑卒中后运动想象训练系统

来源

期刊：IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 31, 2023
作者：Meiai Lin , Jianli Huang, Jianming Fu, Ya Sun, and Qiang Fang

摘要

目标： 开发一个基于虚拟现实( VR )的MI训练系统，结合基于肌电图( EMG )的实时反馈进行卒中后康复，VR系统的沉浸式场景为双侧上肢提供投篮训练。
过程： 通过采集EEG信号，对alpha和beta频段的脑活动进行映射，实现相关性分析；采集EMG数据，使用均方根算法计算阈值，用于反馈虚拟环境下投篮训练的表现得分。
为探讨可行性，对不同康复阶段的脑卒中患者进行了4个实验：初始评估实验、运动想象实验( MI )、动作观察实验( AO )、运动想象与动作观察联合实验( MI + AO )。
结果： MI + AO相比于其他情况可以在alpha频段产生更明显的事件相关去同步化( ERD )，相比于AO可以在beta频段产生相对明显的ERD，这表明基于VR的观察具有促进MI训练的能力。通过肌电分析发现，MI + AO的肌力最高。这证明EMG的反馈可以在一定程度上量化患者的训练投入，促进MI训练。因此，通过结合这种肌电反馈，基于VR的MI训练系统有可能为卒中后康复取得更高的疗效。

程序

参与者

  共有8名40 ~ 75岁的卒中后患者参与了本研究。所有参与者均无神经系统疾病或其他影响MI训练表现的问题。在参与实验之前，每个参与者都被告知并在参与之前签署了知情同意书。

程序设置

1. 播放训练场景动画面：实验采用HTC的VR设备，播放训练场景画面，整个训练过程中通过语音指令进行指导。
2. 测量EEG和EMG信号：采用80通道HIamp 采集EEG和表面肌电信号数据。采集系统由信号放大器、主动电极盒、被动电极盒和EEG帽组成。信号放大器可以对信号进行检测和滤波。主动电极盒配合帽子采集EEG信号，被动电极盒采集EMG信号。利用g.Hiamp记录仪用于实时记录数据和地图信号。
3. 获取分析信号
4. 选择训练结果动画

数据采集

EEG： 以位于感觉运动皮层C3和C4为中心的18通道（FC5, FC3, FC1, FC2, FC4, FC6, C5, C3, C1, C2, C4, C6, CP5, CP3, CP1, CP2, CP4, CP6）将地电极和参考电极分别置于AFz和左耳垂位置。
EMG： 被动电极盒的7个通道分别采集上肢肌肉和锁骨中段肌肉(如图3所示)的肌电信号。上肢肌肉包括两臂的指浅屈肌、拇长屈肌和桡侧腕屈肌，各臂的指浅屈肌作为自身的参考电极。中间锁骨肌作为接地电极。
记录EEG和EMG信号，采样率为1200 Hz，0.5 ~ 100 Hz带通滤波，48 ~ 52 Hz陷波。

实验协议

实验分为四部分

1. 评估实验：放松上肢2min，健康侧握拳5次，患病侧握拳5次
   评估实验旨在获取脑电和肌电信号的生理参数。通过提取EMG数据可以获得每个参与者在放松状态或握拳状态下的肌肉力量，并将其作为后续基于VR的实验中的实时反馈。除此之外，该结果还可以作为MI训练时监控和评估参与者参与度的参考。
2. MI实验：运动想象5次投篮动作，有声音提示，无视觉
3. 动作观察实验：观察投篮动作，无声音提示
4. MI+动作观察实验：想象投篮动作，有视觉有声音

方法

EEG分析

  α和β频段的节律可以通过MI激活，与主要的感觉运动系统功能相关。来自运动皮层的ERD(event-related desynchronization事件相关去同步)，定义为特定频段内相对功率损耗的百分比，与运动执行、动作观察和运动想象有关。因此，ERD可以用来测量大脑活动以及区分不同实验下的差异。
  在预处理阶段，首先从每个被试的每个实验数据中剔除不合适的数据，为了保持统一性，只保留5秒到50秒的时间。这是因为在第五秒之前是准备阶段，正式的训练还没有开始，这个阶段采集到的信号是无效的。并且在五十秒后，最后一次训练只以在视频中显示或在音频中播放的分数结束。因此，后续信号是无效的。然后，对于每个被试，每个实验下的数据需要重参考被试自己的平均值，通过MATLAB 的EEGLAB工具箱过滤掉噪声和不稳定值。因此，可以分别获得alpha和beta波段的数据。为了对4个实验中的脑活动进行映射和比较，我们进一步计算了数据获取功率谱。大脑激活可以通过18个电极位置的功率进行映射。

EMG分析

  表面肌电图是评估肌肉力量和评估中风恢复期的有效方法。提取信号特征值的均方根RMS作为肌力的表示。

  xi表示每个采样时刻的肌电信号值，n表示根据采样率计算出的一段时间内的采样点数。
  在评估实验中，首先分别计算每位受试者放松状态和握拳状态下健侧上肢和患侧上肢拇长屈肌和桡侧腕屈肌肌电信号的RMS值，然后将每位上肢两块肌肉所对应的两个RMS值取平均值，从而得到受试者健侧和患侧的放松肌力和最大肌力。最后，将健侧和患侧的放松肌力取平均值计算出放松综合肌力Mrelax，如式( 2 )。而最大综合肌力Mmax_muscle 是通过取两侧最大肌力的平均值得到的，同理将两侧最大肌力取平均值得到最大综合肌力Mmax_muscle，如式( 3 )。

  由于一个完整的投篮动作由4个部分组成，持续时间为50 s，因此在当前训练中，对每个部分(如图5所示)取3 s的采样时间，得到代表综合肌肉力量的RMS值，采用同样的评估实验策略进行计算。图5中，符号I、II、III、IV分别为投篮的4个阶段。由于每个MI训练周期较长，并且能够提供及时的实时反馈，因此我们只对每个阶段的最后3秒进行采样，得到12秒的样本信号数据，能够最大程度地反映性能。

  为了研究肌电作为实时反馈对参与者个性化训练的影响，定义了每个参与者基于Mmax _ muscle的Mth1和Mth2两个参数，并分别通过方程( 4 )和( 5 )进行计算。在基于EMG实时反馈的AO和MI + AO实验中，Mth1和Mth2的值被用来设置两个阈值。对于不涉及实时反馈的MI实验，我们也采取了同样的方法来获取肌力进行对比。在方程中，符号A和B的取值范围均在0 ~ 1之间，且A的值必须小于B的值，可以根据病人的状态和恢复过程来设定。在研究中，我们将A和B分别取值为0.2和0.6。

  在AO和MI + AO实验中，实时测量肌电数据并与基于Mth1和Mth2的阈值进行比较，然后通过HMD将训练结果可视化地反馈给参与者。因此，对比结果的不同导致了投篮得分率的不同。被试可以根据自己的表现获得三种分数。当他们在当前训练中的实时肌力小于Mth1时，他们将获得1分。当他们的肌肉力量不小于Mth1和小于Mth2时，他们将获得2分。如果他们的肌肉力量大于或等于Mth2，他们最终会得到3分。

结果

  分析相应频段的频谱功率的变化，如图6所示。

  在感觉运动皮层中alpha的功率高于beta的功率。此外，电极间功率的差异在alpha波段比beta波段更加明显。此外，通过比较MI与AO和MI + AO的数据，在虚拟环境中进行额外的观察训练，beta中的活动具有更大的差异和更高的功率。这可能是由于观测行为可以增加beta波段的功率。此外，映射结果显示MI + AO中alpha频段的能量明显变弱，且低于beta频段的能量。但AO在alpha频段的变化趋势与MI一致。
  对四个实验进行了进一步的对比分析，如图7所示。

  基于SPSS v26 软件，采用非参数Friedman’s检验分别对alpha和beta频段的频谱功率变化进行相关性分析。对于每个实验，所有被试者大脑中的所有电极功率被平均和归一化。评估和MI在alpha和beta波段都有相似的范围，这与谱功率图的结果一致。
  alpha频段的对比结果：MI+AO的实验结果与其它实验结果有比较明显的差异。涉及AO训练的两个实验的归一化功率响应减小。可能是基于虚拟环境的观察动作可能会降低alpha频段功率的趋势和幅度。但在MI+AO中下降更明显，这可能是由于MI训练的主导作用以及AO训练对alpha频段ERD的增强作用。
  beta频段的对比结果：AO的beta频率与评估和MI的结果相比都有显著差异。与α波段相反，AO和MI + AO的β波段功率与其他实验结果相比显著增加。此外，MI+AO的功率低于AO，这可能是由于MI的作用。
  脑活动图和相关分析的比较表明，MI训练对显著性差异的影响最小，这与评估实验的结果非常相似。这可以归因于短期MI培训中参与度低和参与执行不准确。此外，观察动作能够影响alpha和beta频段频谱功率的变化。此外，在虚拟环境中进行MI训练与其他3个实验相比，在alpha频段存在显著差异。

  然后，采集评估实验中的肌电信号，并提取肌力特征。表Ⅱ显示了所有参与者在上肢两侧放松或握拳时肌肉力量的详细信息。从表中可以看出，H - Relax和A - Relax在整体上没有明显的差异。然而，所有患者在握拳时，健侧肢体比患侧肢体表现出更多的肌肉力量，这符合我们的预期。

  将健侧和患侧的肌力取平均值来代表当前的上肢康复水平，采取综合肌肉力量来评估训练的表现和参与程度。图8显示了所有参与者在4个不同实验中5次训练的平均肌肉力量的比较。MI和MI + AO相比，AO中的肌肉力量趋势相对稳定，这两者都需要在心理上执行运动。并且AO的变化趋势与评估实验中测得的放松状态的结果接近。这是因为参与者被要求在没有运动想象的情况下观察运动，从而导致没有或很少的肌肉运动。
  在5次训练中，MI和MI + AO的肌力值均高于AO，尽管两者的肌力变化趋势都呈现出明显的幅度变化。与MI相比，MI + AO的肌肉力量更高，这意味着额外的AO行为确实改善了传统的MI训练。而且，MI + AO曲线的整体趋势波动更为明显。综上所述，无论是MI还是MI + AO，基于EMG的实时反馈均能诱发基于MI的训练中EMG信号的变化，因此可用于量化基于MI的训练中参与者的参与度，评估康复水平。

  图9显示了所有参与者在AO和MI + AO中进行5次训练的平均分数，这两种训练都是在虚拟环境中结合基于肌电的实时反馈进行的。参与者可以通过HMD观察篮球投篮动作，并在HMD上显示每个训练表现的相应分数。与AO相比，MI + AO的得分几乎更高。由于两个实验都有明显的成绩变化趋势，说明基于EMG的反馈可以提高基于MI的训练的效果。此外，基于VR的AO培训还可以促进参与者的参与度。因此，我们提出基于EMG的实时反馈具有为卒中后患者定制个性化训练的潜力和能力。

  对肌力值与训练成绩进行相关性分析，如图10所示。图10的Upper子图形揭示了四个实验中肌肉力量的比较结果。与AO相比，MI和MI + AO均有显著性差异。且MI + AO的肌力分布范围高于MI。图10中较低的子图形表示AO和MI + AO实验中的归一化训练得分。虽然两个实验结果没有显著性差异，但是MI + AO的训练得分范围明显高于AO。
  根据肌电实时反馈对四个实验的影响，结果表明，肌电实时反馈对基于MI的训练产生可记录的肌电信号从而训练受损或静止的肢体有积极的影响。此外，5次训练的得分变化体现了参与者在训练过程中的参与程度和重视程度。MI + AO优于MI，因为前者表现出更高的肌肉力量值和投篮得分。两个实验的区别在于是否在虚拟环境中进行训练，并从第一人称视角观察虚拟上肢的运动。因此，我们可以得出结论，基于VR的AO可以促进基于MI的康复治疗。所有结果表明基于EMG的实时反馈与VR相结合的MI系统具有促进患肢康复训练的潜力。