IEEE TCDS论文分享：脑机接口融合增强现实技术的人机交互操作—“所见所想即所得”

脑机接口(Brain-computer
interface, BCI)已逐渐应用于人机交互系统中。稳态视觉诱发电位(SSVEP)作为脑电图(EEG)的一种范式，因其稳定性和高效性在脑电系统研究中受到越来越多的关注。传统的SSVEP-BCI系统需要一个独立的显示屏来显示刺激目标，且刺激目标与某些预先设置的命令有固定的映射关系。这些限制了SSVEP-BCI应用系统在复杂多变场景下的发展。

清华大学孙富春教授团队与安徽工业大学单建华教授团队联合开展研究，在《IEEE Transactions on Cognitive and Developmental
Systems》上发表文章——Brain-Computer
Interface Integrated with Augmented Reality for Human-Robot Interaction。在本研究中，我们提出了集成增强现实(AR)的SSVEP-BCI系统。此外，将物体的视觉信息与刺激目标相结合，建立了一个新的刺激界面，该刺激界面可以自动更新刺激目标与物体之间的映射关系，以适应工作空间中物体的变化。在基于AR的SSVEP-BCI线索-引导任务的机械臂在线实验中，基于FB-tCNN算法的SSVEP-EEG数据识别时间为0.5 s，抓取成功率为87.50±3.10%。提出的基于AR的SSVEP-BCI系统使用户更自然地选择意图目标，并能在有限数量的刺激目标下抓取更多种类的不同物体，具有在复杂多变的场景下使用的潜力。
BCI可以实现人脑与外部设备之间的信息通信。帮助患者与外界交流，提高患者的生活质量，减轻患者家属和护理人员的负担。脑电图(EEG)是一种常用的无创脑电信号类型。稳态视觉诱发电位(SSVEP)作为脑电的一种范式，由于其频域特征明显且易于识别，因此相对稳定可靠。多个刺激目标以不同的固定频率闪烁，以诱导特定的SSVEP信号。通过分析诱导的SSVEP信号，可以确定用户关注的刺激目标。在传统的基于SSVEP的BCI应用系统中，采用独立的显示屏来显示刺激目标的获取情况。但独立显示屏不仅携带不便，而且难以适应复杂的现实场景。此外，刺激目标很难在小型显示屏上很好地呈现。在用户的第一视角中，独立显示屏上的刺激目标与工作空间中的目标对象总是不在同一个视野中。一方面，用户需要在独立的显示屏上凝视刺激目标来生成意图指令。另一方面，他们需要观察机械臂，以确定它是否抓住了目标物体。用户必须在独立显示屏和机械臂之间频繁切换眼睛，这可能会让用户感到疲劳。因此，独立显示屏不利于SSVEP-BCI在人机交互中的应用。
用增强现实(AR)设备来显示刺激目标有可能缓解注意力转移的问题。头戴式显示屏(HMD)是光学透视（OST）-AR技术的首选方法，它通过创建一个场景生成器来显示半透明的虚拟视频或图像，从而将真实与虚拟相融合。用户在第一视角能同时看到真实的现实世界和半透明的虚拟视频或图像。OST-AR技术可以克服独立显示屏的局限性，提高SSVEP-BCI应用的灵活性。
近年来，已有一些研究人员尝试将OST-AR与SSVEP-BCI系统结合。但在这些研究中，刺激目标固定映射到预先设定的目标指令。以脑控机械臂抓取实验为例，三个刺激目标固定地映射到三个目标物体上，使他们只能抓这三个物体，而不能抓其他物体。为此，我们提出了一种融合目标物体视觉信息和刺激目标的刺激界面。刺激目标与物体之间的映射关系可以自动更新，以适应工作空间中物体的变化，使用户可以在有限数量的刺激目标下控制机械臂抓取更多种类的物体。此外，所提出的刺激界面使刺激目标与物体之间的映射关系更加清晰，也可以使用户更加自然、更加符合人类本能地选择目标物体。我们的实验环境如图1所示。我们提出的基于AR的SSVEP-BCI控制系统包括AR眼镜（Hololens 2）、EEG采集设备（NeuroScan）、深度相机（Realsense D455）、机械臂（UR 5和Robotiq）和个人计算机（PC），实验装置如图4-1所示。AR眼镜用来显示含有刺激目标的刺激界面，EEG采集设备用来采集EEG数据，深度相机获取工作平台中物体相关的视觉信息，机械臂负责抓取和转移物体，PC对采集的图像数据和EEG数据进行处理。
图1 实验相关设备分布图

控制系统框架如图2所示。首先，PC通过深度相机获取物体的视觉信息（包括深度图像和RGB图像），然后裁剪出所有物体的RGB图像，并通过WIFI（TCP/IP通信协议）发送给AR眼镜。在这些裁剪后的图像被传输完成后，一个“start”的命令将通过WIFI发送到AR眼镜上，使得AR眼镜打开刺激界面。在AR眼镜显示的刺激界面中，这些被裁剪的物体图像以特定的顺序放置在相应刺激目标的旁边位置。每个刺激目标都以一个固定的频率闪烁，每个刺激目标的闪烁频率是不同的。用户通过盯着目标物体图像旁边的刺激目标来诱导产生SSVEP成分的EEG数据。EEG数据由EEG采集设备进行采集，并由PC进行处理。利用在以前工作中提出的深度学习分类算法（FB-tCNN）对采集到的脑电图数据进行分类识别，解码用户的意图。然后将解码的意图以数字命令的形式发送到AR眼镜上，然后将与意图命令对应的物体图像放在刺激界面的中心，让用户检查解码的意图命令是否与其真实意图一致。之后，则一个“stop”命令通过WIFI发送到AR眼镜，使AR眼镜关闭刺激界面。接着将用户的意图命令与物体的位置信息相融合，得到机械臂需要抓的目标物体的位置信息。最后，通过有线传输（TCP/IP）通信技术将目标物体的位置信息传输到机械臂控制盒，控制盒可以控制机械臂抓住目标物体并将其转移到指定区域。用户可以监视机械臂，以防止机械臂出现不安全的轨迹，并再次检查机械臂是否抓住了正确的目标物体。
图2 控制系统框架图

我们的实验分为离线实验和在线实验两个部分。离线实验主要用于（1）优化在线实验中的系统参数，如识别时窗大小；（2）使被试熟悉AR-SSVEP实验范式（重点在于熟悉AR设备的使用）；（3）将AR-SSVEP和PC-SSVEP进行对比。在线实验主要用于验证提出的在线控制系统的可行性。
离线实验中，基于所有被试、试次和电极通道的每个刺激目标频率的平均频谱图和信噪比图分别如图3和图4所示。在PC-SSVEP和AR-SSVEP的所有刺激目标频率下，均可以在频谱图和信噪比图上清晰看见峰值。
图3 平均频谱图

图4 平均信噪比图

图5说明了FB-tCNN神经解码算法在10个数据长度下产生的PC-SSVEP和AR-SSVEP离线实验中基于所有被试的平均准确率和ITR，数据长度范围为0.1-1.0 s，间隔为0.1 s。PC-SSVEP和AR-SSVEP的分类准确率大致上与数据长度呈正相关。但在0.5 s后，准确率的提高并不明显。配对t检验（尾数=2）显示，PC-SSVEP和AR-SSVEP在所有数据长度下的平均准确率和ITR上均无显著差异（所有p > 0.05）。

图5 AR-SSVEP和PC-SSVEP在不同数据长度下产生的平均准确率和ITR。误差棒表示SEM

考虑到分类准确率与被试注视闪烁刺激目标时间之间的权衡，选择0.5 s作为在线实验评估阶段的数据长度。表1显示了评价阶段的结果。在基于AR的SSVEP-BCI线索引导的机械臂抓取任务中，基于所有被试的平均抓取成功率为87.50±3.10%，ITR达到159.40±19.00 bits/min。表1 基于0.5 s时窗的抓取物体的成功率（%）和ITR（bits/min）
离线实验中，结果表明AR-SSVEP和PC-SSVEP相差不大，使用AR设备显示刺激目标诱发的SSVEP-EEG数据具有应用潜力。在线实验中，所有参与者都较好地完成了实验，证明了我们提出的基于AR的SSVEP-BCI在线控制系统的可行性。在SSVEP-BCI系统中，融合了物体视觉信息和刺激目标的刺激界面比传统的刺激界面更能使用户更自然地选择目标对象。所提出的SSVEP-BCI系统可以应用于复杂多变的场景，并且不局限于固定的对象类别和数量，因为融合的刺激界面可以自动更新物体与刺激目标的映射关系。我们提出的刺激界面有助于SSVEP-BCI在生活中的应用。
更多细节请参考原文（https://ieeexplore.ieee.org/document/9844133）。
实验中所用的神经解码算法FB-tCNN文章的地址为：https://ieeexplore.ieee.org/document/9632600算法代码github地址为：https://github.com/DingWenl/FB-tCNN。