​基于机器视觉的视觉刺激BCI系统实现动态控制

视觉刺激(VS)是目前无创BMI应用最广泛的范式之一，具有高精确度和高信息传递率(ITR)等优势。基于VS触发的EEG特征的BCI已被广泛用于工程中，尽管基于VS的BMI具有相对较高的信息传输速率(ITR)，但仍然难以控制动态环境中的机器。一个基于机器视觉的增强现实视觉刺激动态范式（AR-VS），利用动态决策时间区分方法解码人的意图，该方法控制基于任务与自运动系统协调的机器人在快速灵活的状态下，实现了更高的灵活性和更快的执行速度。

    AR-VS范式

AR范式由两个模块组成，分别是基于深度神经网络的物体识别（R）模块和跟踪（T）模块，以及一个刺激序列控制。在AR-VS范式中，VS可以以任何形式动态产生，取决于环境中的目标物体。实验采用动态SSVEP刺激，VS的大小和位置动态变化，但与每个物体通信的频率保持不变。

图1 AR-VS运行过程 (a) 现实环境中的AR-VS；(b) 和（c）为基于AR-VS的机器人控制系统示意图。

    训练与分析过程

被试一共参与两个实验：离线实验，该过程以视频方式刺激，VS不断移动；在线实验，受试者按照指定的顺序抓取三个不同的玩具，每次实验采集32路EEG信号。枕叶为SSVEP效应区，O1、O2、Oz、P3电极信号作为目标信号。信号的分析为滤波器组典型相关分析（FBCCA）的过程，EEG信号首先被分解成各个子带，根据计算的相关性和对应权重获得最终频率结果。

图2离线实验时域设置(a)为第1-4实验交互范式(b)和(c)为第5-8实验交互范式。

图3 在线实验范式，红色圆圈为静态VS，对应前进、右转、左转、后退和停止。绿色圆圈表示四个玩具中有两个在场景中被认出，随后附加一个动态刺激。

图4 FBCCA分析方法。

    结果

根据采集到的EEG分类结果发现物体的尺寸和移动速度会影响动态特征的识别，这是显然的，更快的移动将导致更低的目标功率，最终导致更高的错误率，而较大尺寸可以弥补移动速度较快的影响。AR-VS范式的ITR和分类精度也受到物体尺寸和移动速度的影响，而一般移动速度较高的目标需要更多实验数据的训练积累。

图5原始EEG数据在不同移动速度和大小下的SSVEP的特征。梯度图像与移动速度之间的关系，VS大小及相应的Oz基线EEG功率。

图6 （a）为目标基线VS移动速度、功率和谐波频率之间关系；（b）为目标基线功率和谐波频率关系；（c）为AR-VS范式9 Hz处的目标功率比较；（d）为VS触发平均功率

图7 决策时间和精度的关系以及决策时间和信号传导速度的关系

AR-VS范式虽然在动态目标控制上有显著优势，但还是明显受到了目标移动速度的影响，且长期使用VS范式仍然会导致疲劳，提高分类精度和减轻视疲劳是未来需要解决的问题，另外，装置本身的优化也应向更轻便、更友好、更多样发展，如同时适应家庭和户外，这种优化还应考虑人/机器视觉与人-机混合系统之间的协调。

总的来说，基于AR-VS的范式可以优化应用于其他基于VS的BMI，如传统的P300范式、无刺激电位范式和微型事件相关电位范式，从而在动态环境中获得更好的结果。