Towards intelligent environments: an augmented reality–brain–machine interface operated with a see-t

Towards intelligent environments: an augmented reality–brain–machine interface operated with a see-through head-mount display

迈向智能环境：基于头戴式透视显示器的AR-BMI

摘要

  BCI或BMI是一种新的接口技术，它使用来自大脑的神经生理信号来控制外部机器或计算机。预计该技术将协助日常活动，特别是对残疾人而言。为了扩展此范式的使用范围，我们将增强现实（AR）引入到基于P300的BMI。在这个新系统中，用户靠近可控设备的区域时，我们使用透视头戴式显示器（HMD）来创建具有闪烁视觉刺激的控制面板。当附加的相机检测到AR标记时，会计算标记的位置和方向，并且由AR系统创建预先分配的设备的控制面板并叠加在HMD上。参与者被要求控制系统兼容的设备，他们成功地操作系统而不需要经过大量的培训。使用HMD的在线性能与使用LCD显示器的在线性能没有差别。后部和侧部（右侧或左侧）通道选择有助于使用HMD和LCD监视器操作AR-BMI。我们的结果表明，使用透视HMD操作的AR-BMI系统可用于构建高级智能环境。
关键词：Keywords: BMI, BCI, augmented reality, head-mount display, environmental control system

介绍

  脑机接口（BMI）或脑机接口（BCI）是一种新的接口技术，它使用来自大脑的神经生理信号来控制外部计算机或机器（Birbaumer等，1999 ; Wolpaw和Mcfarland，2004 ; Birbaumer和科恩，2007年）。脑电图（EEG），其中使用放置在头皮上的电极记录神经生理学信号，代表了用于研究BMI的主要非侵入性方法。我们小组应用了脑电图并开发了基于BMI的环境控制和通信系统。在这个系统中，我们修改了P300拼写器（Farwell和Donchin，1988）。P300拼写器使用P300范例，包括以矩阵排列的一系列图标的呈现。根据该协议，参与者关注矩阵中的一个图标作为目标，然后矩阵的每个行/列或单个图标以随机序列加强。目标刺激表现为罕见的刺激（即奇怪的范例）。我们引发P300对目标刺激的反应，然后提取并对这些反应进行分类。在我们之前的研究中，我们准备了绿色/蓝色闪烁矩阵，因为这种颜色组合被认为是最安全的（Parra et al。，2007））。我们发现绿色/蓝色闪烁矩阵与白色/灰色闪烁矩阵相比具有更好的主观舒适感，我们还发现绿色/蓝色闪烁矩阵与更好的性能相关（Takano等，2009a），b）。BMI系统被颈髓损伤患者令人满意地使用（Komatsu等，2008 ; Ikegami等，2011）。

  残疾人可以使用这种系统来支持他们的日常活动。在这种类型的系统中，用户依赖于预先配备的控制面板; 因此，每个系统都专门用于用户的特定环境（例如，他或她的家）。为了扩大可能的活动范围，需要开发一种易于在新环境中使用的新系统，例如医院。为了实现这一点，我们在此处为基于P300的BMI添加了增强现实（AR）功能。在该系统中，我们使用透视头戴式显示器（HMD）来创建具有闪烁视觉刺激的控制面板，从而在用户接近可控设备时为其提供合适的面板。当附加的相机检测到AR标记时，会计算标记的位置和方向，1和2）。

图1. AR-BMI系统图。当USB摄像头检测到AR标记时，预先指定的设备（例如，台灯）的控制面板被添加到用户的视线中并且设备变得可控制。受试者能够通过关注增强控制面板上的图标来操作设备。

图2.实验程序。在强化时，图标将颜色从蓝色变为绿色，并且记录引出的ERP。EEG数据中的红色实线表示用于分类的分段部分。在15个序​​列后，通过Fisher线性判别分析对目标进行分类。灯光控制面板有四个图标（打开，关闭，亮起和暗淡），而电视控制面板有11个图标（打开，更改频道，更改视频模式，音量增大和音量减小）。

  我们在这项研究中使用了透视HMD。为了评估不同类型的视觉刺激对新AR-BMI的影响，我们将透视HMD与LCD监视器进行了比较。要求参与者使用AR-BMI系统控制设备，同时使用透视HMD和LCD监视器。通过这样做，我们发现具有透视HMD的AR-BMI系统运行良好。

实验和方法

被试

  招募了15名受试者作为参与者（年龄19-46岁; 3名女性，12名男性）。根据爱丁堡清单（Oldfield，1971），所有受试者神经正常。我们的研究得到了国家残疾人康复中心的机构审查委员会的批准。所有受试者均根据机构指南提供书面知情同意书。

实验设计

  增强现实技术与BMI相结合（图1）。AR-BMI系统由HMD（LE750A，Liteye Systems，Inc.，Centennial，CO，USA）或LCD监视器（E207WFPc，Dell Inc.，Round Rock，TX，USA），PC，USB摄像机（QCAM-）组成。 200V，Logicool，Tokyo，Japan），EEG放大器（g.USBamp，Guger Technologies OEG，Graz，Austria）和EEG cap（g.EEGcap，Guger Technologies OEG）。我们在系统中使用了ARToolKit C语言库（Kato和Billinghurst，1999）。当相机检测到AR标记时，预先指定的红外设备变得可控制。AR标记的位置和姿势是由照相机检测到的图像计算的，并且用于器具的控制面板由AR系统创建并叠加在对象的视线内。我们准备了一台电视和台灯作为可控设备。设备用于电视和台灯的控制面板的AR标记（图2）。

  我们制备了绿色/蓝色闪烁矩阵（Takano等，2009b）作为控制面板。强化/休息的持续时间为100/50 ms。所有图标都以随机顺序闪烁，创建一个序列。每15个序列进行一次分类（图2）。受试者被要求发送五个命令来控制电视和台灯。我们要求受试者专注于其中一个图标。

脑电图记录和分析

  使用帽记录八通道（Fz，Cz，Pz，P3，P4，Oz，Po7和Po8）EEG数据。所有通道都参考Fpz并接地到AFz。电极阻抗低于20kΩ。使用gUSBamp以128Hz的速率放大/数字化EEG数据。gUSBamp内部数字化率高于128 Hz，因此对数据进行了下采样。用0.1Hz的八阶高通滤波器和四阶48-52Hz陷波滤波器对数字化数据进行滤波。

  在分析中，记录的EEG数据用一阶带通滤波器（1.27-2.86Hz）滤波; 根据集约化的时间记录了120个ERP数据的数字化点。来自前20个点（强化前）的数据用于基线校正。将剩余的100个点（强化后）下采样至25.6Hz并用于分类。

  在训练集中，我们记录了EEG数据以预先创建特征向量。要求受试者关注其中一个目标图标，并使用四个目标图标。记录六十（4个试验×15个增强）数字化点组作为目标数据集，并且记录600个（4个试验×15个强化×10个非目标图标）数字化点组作为非目标数据集。每个数据集包括每个EEG通道的100个数字化点，并且这些数据集被下采样到每个EEG通道的20个数字化点。总共使用每个受试者的分段数据计算160个维度特征向量（每个EEG通道20个维度）。针对每个实验条件（LCD和HMD）导出特征向量。

  在测试集中，使用特征向量，使用Fisher的线性判别分析来区分目标和非目标图标。分类的结果，作为总和分数的最大值，用于确定受试者参加的图标。

结果

在线性能和离线评估

  在目前的研究中，我们准备了AR-BMI来控制系统兼容设备。我们使用透视HMD和LCD监视器来进一步评估不同类型的视觉刺激对AR-BMI的影响。

  使用LCD显示器评估在线性能并且电视控制面板的平均准确率为88％（SD = 3.20），而HMD为82.7％（SD = 2.63）; 然而，这些结果没有显着差异（图3）。相反，在离线评估中注意到显着差异[双向重复ANOVA F（1,420）= 13.6，p <0.05; Tukey-Kramer检验，p <0.05]。

图3.受试者的控制精度。显示了控制电视和台灯的准确性。横轴表示序列数，纵轴表示精度。白色实线表示SE的平均精度。白色实线后面的蓝色方块是二维直方图; 每个蓝色方块表示每个序列中受试者的频率及其准确度[ （A）：LCD，（B）：HMD]。

  LCD显示器的光控制平均准确率为84％（SD = 3.40），而HMD为76％（SD = 2.06）; 然而，结果没有显着差异。在离线评估中，结果也没有显着差异。因此，我们的AR-BMI系统不仅可以通过使用PC显示器来操作，还可以通过使用HMD来操作。

通道选择

  我们使用HMD和LCD显示器进一步研究了信道选择对AR-BMI操作的影响。我们将EEG通道分成不同的组并评估其准确性。

  当我们分析两个水平信道集[A（P3，Pz和P4）和B（Po7，Oz和Po8;图4A）]中的数据时，集合B（后集）显示出比集合A高得多的精度（所有会话和所有条件下的前组（p <0.05，双向重复ANOVA，无相互作用）。

图4.通道组中的控制精度。控制电视和台灯的准确度显示在不同的通道组（A-E）中。横轴表示序列数，纵轴表示精度。（A）：通道组A（P3，Pz和P4）和B（Po7，Oz和Po8）; （B）：通道组C（P3和Po7），D（Pz和Oz）和E（P4和Po8）。实线表示LCD的性能，而虚线表示每个通道组的HMD性能。

  当我们在三个垂直信道组[C（P3和PO7），d（PZ和OZ），和E（P4和PO8;图分析的数据4 B）]中，设置d（中间组）显示出比显著低精度所有会话和所有条件下的其他（左和右组）（p <0.05，双向重复ANOVA，无相互作用，Tukey-Kramer作为事后检验）。

  这些结果表明，后置和侧向（右或左）通道组在使用HMD和LCD监视器的AR-BMI操作中提供了更好的性能。

讨论

  在这项研究中，我们发现通过应用AR-BMI系统，该系统使用透视HMD，当用户进入靠近可控设备的区域时，可以为用户提供合适的控制面板，参与者成功操作系统兼容设备重要的培训。

HMD与LCD显示器

  当视觉诱发电位应用于BMI系统时，可以更好地评估视觉刺激的效果。Townsend等。（2010）报道，视觉刺激的棋盘范例提高了准确性。我们小组发现绿色/蓝色闪烁刺激改善了基于P300的BMI操作期间的性能（Takano等，2009b）。使用沉浸式HMD和LCD监视器提供视觉刺激的BMI研究显示两种技术之间没有显着差异（Bayliss，2003）。

  在这项研究中，我们将透视HMD和LCD监视器应用于AR-BMI系统以进一步评估不同类型的视觉刺激的效果，并且在在线评估中，与HMD的性能没有不同。配备液晶显示器。本研究的准确率为76％至88％; 因为正确反应的发生率超过70％，系统被认为已达到实际使用水平（Kubler和Birbaumer，2008 ; Nijboer等，2008）。

  在离线分析中，透视HMD提供的电视控制精度明显低于LCD显示器。由于图标大小和图标之间的距离会影响分类的准确性（Sellers等，2006），这可能是由HMD和LCD监视器之间的不同类型的视觉刺激引起的。因此，应进一步研究视觉刺激对BMI手术的影响。

频道集

  我们还使用HMD和LCD监测器研究了通道选择对AR-BMI操作的影响，并发现后向和侧向（右或左）通道选择对于HMD和ARD的AR-BMI的操作有利。液晶显示器。已经报道了后外侧通道在驱动基于P300的BMI中的重要作用（Krusienski等，2008 ; Rakotomamonjy和Guigue，2008）。Rakotomamonjy和Guigue（2008）使用支持向量机对基于P300的BMI中的通道的有效性进行了评分，并发现了Po7和Po8的优势。Krusienski等。（2008）表明，枕骨 - 顶叶（Po7，Oz和Po8）和中线（Fz，Cz和Pz）电极提供了更好的准确性。

  已经研究了P300的神经元机制，并且已经注意到P300反映了刺激驱动和自上而下的注意过程以及其他认知过程，包括分类（Bledowski等，2004 ; Polich，2007）。我们的任务使用了绿/蓝色刺激，因此也需要处理主要发生在V4区域的彩色信息（Lueck等，1989 ; Plendl等，1993 ; Murphey等，2008））。需要进一步的研究才能充分了解P300范式下的绿色/蓝色闪烁刺激的神经元过程; 然而，这项研究表明，在具有HMD和LCD显示器的AR-BMI的操作中，后部和侧面（右或左）通道组的重要性。

迈向高级智能环境

  已经尝试了BMI和其他技术之间的几种组合，例如具有眼睛跟踪的BMI（Popescu等人，2006）和具有机器人技术的BMI（Valbuena等人，2007）。AR与SSVEP BMI相结合，提供了丰富的虚拟环境（Faller et al。，2010），我们在P300 BMI中使用AR配备LCD监视器和代理机器人，以便用户可以在机器人环境中操作家用电子设备（Kansaku）等人，2010）。在这项研究中，我们开发了一个AR-BMI系统，该系统采用透视HMD，可用于构建先进的智能环境（Kansaku，印刷中）。

  我们小组开发的系统使用改进的P300拼写器（Farwell和Donchin，1988）。尽管P300拼写器主要用于使用拼写字母进行通信，但该系统最近已用于控制更复杂的系统兼容设备，包括机器人（Bell等，2008 ; Komatsu等，2008）。因此，每个图标通过分配更复杂的含义来表达用户的想法。

  我们的带有透视HMD的AR-BMI可用于控制更多类型的设备; 因此，该系统可能有助于扩大残疾人的活动范围。使用非侵入性神经生理学信号或神经元放电数据，未来沿着这些线路扩展人类活动的环境可以使新的日常活动不仅适用于身体残疾人，而且适用于身体健全的人。

来源

https://www.frontiersin.org/articles/10.3389/fnins.2011.00060/full