【脑机接口论文与代码】High-speed spelling with a noninvasive brain–computer interface

中文题目 ：非侵入性的高速拼写脑机接口

论文下载

DOI:https://doi.org/10.1073/pnas.1508080112

算法程序下载

地址

摘要

  
作者：Xiaogang Chen a,1 , Yijun Wang b,c,1,2 , Masaki Nakanishi b
摘要：
在过去的20年里，脑机接口取得了前所未有的进步。然而，低通信速率是基于脑机接口的人类通信的主要障碍。本研究提出了一种基于脑电图的脑机接口拼写器，其信息传输速率（ITRs）高达每秒5.32位，是使用非侵入性或非侵入性脑机接口的拼写器中报告的最高ITRs最高。基于视觉闪烁信号与诱发的单次稳态视觉诱发电位之间频率和相位的高度一致性，本研究开发了一种同步调制解调范式来实现拼写。具体而言，本研究提出了一种新的联合频率相位调制方法，用0.5-s长的闪烁信号标记40个字符，并利用单个校准数据开发了一种用户特定的目标识别算法。拼写者在在线拼写任务中获得了很高的ITR。这项研究表明，脑机接口可以利用非侵入性记录的大脑活动提供一个真正自然的高速通信通道。

1 项目介绍

  到目前为止，脑电图（EEG）是实现脑机接口拼写器的最流行的方法，因为它具有非侵入性、操作简单和相对较低的成本。然而，头皮记录的脑电信号的低信噪比（SNR）和EEG建模中缺乏计算高效的解决方案，将基于脑电的脑机接口拼写器的信息传输速率（ITRs）限制在～1.0比特每秒，使用多神经元记录报告ITR高达3.5个基点（9）。尽管基于脑电图的拼写器的通信速度在过去十年中得到了显著提高（4），但它仍然是人类现实应用的关键障碍。

SSVEP拼写器典型地使用SSVEP来检测用户对目标人物的注视方向（10）。尽管SSVEP拼写器已经实现了相对较高的ITR（例如，参考文献6中的1.7 bps），但最终性能限制仍然未知。原则上，SSVEP拼写器的理论性能极限在很大程度上取决于视觉路径中的时间编码精度，这可以反映为SSVEP中的视觉潜伏期[即表观潜伏期（12）]。先前的研究表明，大平均SSVEP可以准确地编码刺激信号的频率和相位，在不同的刺激频率上显示出恒定的潜伏期（12）。在这里，我们假设单次试验SSVEP的视觉潜伏期在整个试验中可以非常稳定，SSVEP代表神经元群体在刺激时间内的活动。如果这是真的，刺激信号的频率和相位可以在单次试验SSVEP中精确编码。在SSVEP拼写器中，使用同步调制和解调可以获得更好的性能。
本研究的目标是实现一种高速的脑机接口拼写SSVEP。基于单次试验SSVEP视觉潜伏期稳定的假设，本研究提出了一种新的联合频率相位调制（JFPM）方法，以提高频率范围非常窄的SSVEP之间的可分辨性，这是频率编码中最具挑战性的条件（10）为了解决由于非线性[即SSVEPharmonics（14）]导致的参数选择困难，开发了一种数据驱动的网格搜索方法来优化JFPM方法中的刺激持续时间和相位间隔。考虑到目标识别中视觉延迟的个体差异，本研究采用了一种改进的用户特定解码算法，该算法在特征提取中引入了个体SSVEP校准数据。此外，还采用了滤波器组分析方法。本研究开发了一种新的联合频率相位调制方法和一种用户专用的解码算法来实现脑电图的同步调制和解调。由此产生的拼写器获得了高拼写率，每分钟高达60个字符（～12个单词）。所提出的高速脑机接口的方法学框架可以在运动障碍患者和健康人中获得大量应用。

2 方法

使用基于SSVEP的脑机接口进行拼写
  闭环脑机接口拼写器由三个主要组件组成：一个5×8的刺激矩阵，组合一个字母数字键盘，一个脑电图记录设备，以及一个用于目标识别和反馈的实时程序。

该系统通过分析引发的SSVEP来确定用户关注的目标，SSVEP对目标刺激的频率和相位信息进行编码。刺激矩阵中的40个字符用不同的舔舐频率和相位进行标记（图1B），这是通过联合JFPM方法确定的（下面详细讨论）。

图1 c显示拼写两个示例字符" H "和的程序“I”与系统连续出现。对于每个目标，通过基于SSVEP模板的解码算法提取锁定到刺激的0.5-sSSVEP历元时间（具有视觉延迟τ）用于目标识别（详见材料和方法）。使用这种配置，BCI拼写器的拼写速率为每分钟60个字符，对应于高达5.32 bps的ITR。

基于ssvep的脑机接口拼写器闭环系统设计。
(A) BCI拼字机系统框图，由视觉刺激、脑电(EEG)四个主要步骤组成。视觉刺激，记录，实时数据处理，反馈展示。5 ×8激励矩阵包括26个英文字母、10个数字和4个符号(即空格、逗号、句点和退格)。实时数据分析通过预处理、特征提取和分类识别受关注的目标。刺激矩阵的图像仅用于说明。激励矩阵的参数可以在材料和方法中找到。
(B)频率和用于编码激励矩阵中每个字符的相位值。这些值由联合频率-相位调制方法(公式4)确定频率范围:8.0 ~ 15.8 Hz，间隔0.2 Hz。两个相邻频率之间的相位间隔为0.35π。
©拼写字符的例子用BCI拼写器拼写“H”(15.0 Hz, 0.25π)和“I”(8.2 Hz, 0.35π)。0.5 s的间隔用于在刺激矩阵之前将视线引导到目标开始闪烁0.5秒。提取对刺激τ (~ 140 ms)的0.5 s长的脑电历元用于目标识别。目标字符可以由解码算法根据单次SVEP和单个SSVEP模板之间的相关性来确定材料和方法)。

刺激信号和诱导出的SSVEPs
在这项研究中，40个刺激信号由采样的正弦刺激基于监视器的刷新率方法产生。 图2 A、B显示前1-s刺激信号的波形，并取平均值SSVEPs(基本组件)在三个选择的自由频率(12.2、12.4和12.6 Hz)来自第一个受试者。在在时域上，真实的刺激信号和SSVEPs都是与理论激励信号精确同步。图2 c和D说明了刺激信号和诱导出的SSVEPs的复杂频谱。如图2C所示，激励信号在复谱中的角度与每个正弦激励信号的初始相位完全相同(12.2 Hz: 0.5π， 12.4 Hz: π， 12.6 Hz: 1.5π)。估计的SSVEPs相位与激励信号的相位高度一致(12.2 Hz: 0.53π， 12.4 Hz: 1.00π， 12.6 Hz: 1.45π;图2 d)。
这些结果证明了采样正弦激励方法在生成SSVEPs频率和相位调制的激励信号方面的鲁棒性。此外，ssvep在不同频率上显示出几乎恒定的延迟，这与之前的研究一致(15)。因此，SSVEPs的检测可以使用同步解调方法来实现。

图2所示。12.2、12.4和12.6Hz的刺激信号和诱发的SSVEPs。(A)使用的激励信号的时域波形(实线)基于监视器刷新的采样正弦刺激法(6)速率(60hz)。激励信号的动态范围为0 ~ 1，其中0表示暗，1表示最高亮度。最初的三个频率的相位分别为0.5π、π和1.5π。虚线为理论正弦激励信号。(B在O1电极处的平均SSVEPs(实线)时域波形对理论刺激施加128 ms的时间延迟后信号(虚线)。刺激信号的最大振幅为了说明设置为3 μV。应用了[11.5 Hz 13.5 Hz]的带通滤波器仅保留SSVEP信号的基频成分。离线实验(材料和方法)。只显示刺激信号的第一秒和SSVEPs©复谱值为真实刺激信号的三个点刺激频率。(D)平均SSVEPs的复谱值。在C和D中的每个子图，水平轴和垂直轴(虚线)表示在每个指定的复数谱数据的实部和虚部频率(分别为12.2、12.4和12.6 Hz)。虚线圆表示spec-在指定频率处具有最大振幅的Tral值。整个利用5-s分段计算复光谱;

2.1SSVEPs的基波和谐波分量

在激励频率及其谐波频率(12)处，SSVEPs可以表现为类正弦波形。在之前的BCI研究中已经证明了在频率检测中组合谐波成分的优势(10,16)。然而，在脑机接口研究中，对SSVEP谐波的信噪比还缺乏详细的分析。如图3A所示，对于一个示例受试者，基本分量在13.8 Hz的SSVEPs平均振幅谱中显示出最高的振幅。

随着响应频率的增加，SSVEP各分量幅值呈现急剧下降的趋势(基波:3.63 μV、二次谐波:0.94 μV、三次谐波:0.57 μV、四次谐波:0.34 μV、五次谐波:0.18 μV、六次谐波:0.09 μV)。由于背景脑电活动的幅值也随着频率的增加而降低，因此谐波的信噪比下降速度比幅值慢得多。如图3C所示，随着响应频率的增加，SSVEP各分量的信噪比缓慢而稳定地下降(基频22.11 dB，二次谐波18.70 dB，三次谐波18.89 dB，四次谐波16.37 dB，五次谐波14.74 dB，六次谐波11.48 dB)。

图3 B和D显示了所有刺激频率(8-15.8 Hz)的幅值和信噪比图像，它们是刺激频率和响应频率的函数。对于所有的40个刺激频率，SSVEPs的基频和谐波频率与刺激信号完全相同。在频率高达90hz的SSVEP谐波在信噪比图像中清晰可见。因此，本研究采用滤波器组分析方法(17)从基波和谐波SSVEP分量中提取频率和相位信息(详见材料和方法)。

JFPM刺激产生算法

  为了实现大数量的目标，频率编码的方法在基于SSVEP的BCI中通常编码多个目标频率等间隔。

where f 0 is the lowest frequency, Δf is the frequency interval, n is the index of the target, and N is the total number of targets.
根据通信技术，便于检测对于频率编码目标，需要1=Δf的数据长度所有刺激信号彼此正交(13)。
因此，要实现一个大的频率编码系统目标个数多，正交性一般需要较长的数据长度。例如，在这项研究中，有40个目标的拼写者正交性要求数据长度为5s (Δf =0.2 Hz)。然而，对于高ITR，高速BCI拼写器只能为每个目标使用较短的数据长度(例如，0.5 s)。

2.3基波和谐波SSVEP分量的幅度谱和信噪比

对于一个示例受试者(S12)，在(A) 13.8 Hz和(B)所有刺激频率(8-15.8 Hz)下SSVEPs的平均振幅谱。对于每个刺激频率，首先对6次试验取平均，以提高SSVEPs的信噪比。利用快速傅里叶变换计算其幅度谱。频谱的振幅为所有九个通道的平均值。© 13.8Hz和(D)所有刺激频率(8-15.8 Hz)下SSVEPs的平均信噪比(分贝)。SNR定义为SSVEP幅值与10个相邻频率(即每边5个频率)均值的比值。利用A和b的平均幅度谱计算信噪比，其中A和C中的圆表示13.8的基频和谐波频率Hz(例如,13.8,27.6,41.4,55.2,69和82.8Hz)。

在B和D中，振幅谱和信噪比分别表示为激励频率和响应频率的函数。图像中的频率间隔为0.2 Hz。50hz时的突然下降是由数据记录中用于去除电源线噪声的陷波器引起的。
在这种情况下，自发背景脑电活动的干扰使得现有的频率检测方法很难识别ssvep(10)。在公式1中，相位信息在目标编码中被忽略，因此不能为频率检测提供有用的信息。提出将相位编码与频率编码相结合，实现JFPM。具体地，引入等间隔相位来增强对频编码目标的区分能力:

where 0 = 0 is the initial phase of the target at f0 and Δ0 = is the phase interval between two adjacent frequencies. For a data length less
than 1=Δf, an optimal phase interval Δ0 = can maximize the differentiation between SSVEP waveforms at the adjacent frequencies and thereby facilitate target identification.研究旨在最小化相邻频率上ssvep之间的相关系数(即向负相关值−1)。
图4A给出了理论1s激励信号在12.2、12.4和12.6 Hz时使用四个不同的相位区间值(0、0.5π、π和1.5π)的时域波形。图4B显示了12.4 Hz与所有40个激励频率之间的激励信号的相关系数。四个相位间隔值在所有激励频率下产生非常不同的相关模式。

不同的相位间隔值(0:0.75和0.75,0.5π:−0.55和−0.54，π:−0.75和−0.75,1.5π: 0.55和0.54)，其与最近邻居(12.2和12.6 Hz)的相关系数差异很大。这些结果表明，在激励信号中引入适当的相位区间值(如0.5π或π)可以显著提高SSVEPs的判别性。0.5π的相位间隔也导致了第二近邻频率(12.0 Hz:−0.22和12.8 Hz:−0.22)的负相关值。相反，当相位间隔值为π时，在第二近邻频率(12.0 Hz: 0.22和12.8 Hz: 0.22)处得到正相关。在实际应用中，最优相位间隔值可以通过在离线分析中最大化BCI性能来确定(下面讨论的网格搜索方法)。图4C显示了12.4 Hz下1s单次SSVEP与SSVEP模板信号之间的平均相关值(即训练集中多个SSVEP试验的平均值;细节在材料和方法中给出)在所有刺激频率的对象。利用典型相关分析(canonical correlation analysis, CCA)对9通道SSVEPs进行投影计算相关系数(具体内容见材料和方法)。使用SSVEP模板信号的相关值模式与刺激信号的相关值模式高度一致(图4B)。
例如，当使用π的相位间隔值时，在目标频率(12.4 Hz: 0.70)处可以获得最大相关值。在第一近邻和第二近邻处分别得到负相关值和正相关值(12.2 Hz:−0.48,12.6 Hz:−0.50,12.0 Hz: 0.21, 12.8 Hz: 0.21)。这一发现适用于每个人的单次试验ssvep。来自一个样本受试者的单次试验SSVEPs的相关值(图4E)与从刺激信号计算出的理论模式(图4D)高度一致。

图4所示。JFPM。(A) 12.2、12.4、12.6 Hz对应4个不同相位区间值(0、0.5π、π、1.5π)的1s正弦激励信号时域波形。(B) 12.4 Hz刺激信号与各刺激频率(8-15.8 Hz，间隔0.2 Hz，用圆表示)刺激信号的相关系数。虚线表示激励频率为12.4 Hz。©试验和受试者在所有刺激频率下产生的12.4 Hz的1-s长的SSVEP与SSVEP模板信号之间的平均相关系数。利用基于cca的空间滤波对9通道SSVEPs进行投影计算相关系数;误差条表示各受试者的SDs。(D) 12.4 Hz激励信号与12 ~ 12.8 Hz频率(即12.4 Hz和四个相邻频率)之间的相关系数。相位区间的取值范围为0 ~ 2π。这些标记表示0、0.5π、π和1.5π的相位间隔值。需要注意的是，两边12.4 Hz(12.2和12.6 Hz, 12和12.8 Hz)对应相同频率距离的两条曲线重合。(E) 12.4 Hz单次SSVEP与SSVEP模板信号的相关系数
对于一个样本受试者，有四个相位间隔值(0,0.5π， π和1.5π)，频率为12 ~ 12.8 Hz。该数据集包括6次试验。采用留一法计算SSVEP模板信号;在材料和方法中可以找到不同相位区间值的数据代的生成方法。

优化相位间隔和刺激时间。
JFPM方法中的参数优化应考虑基波和谐波SSVEP分量的联合贡献。然而，SSVEP幅度和信噪比的非线性调制给基于激励信号寻找理论最优参数带来了挑战。为了解决这个问题，本研究开发了一种实用的网格搜索方法来确定相位间隔和刺激持续时间，以优化BCI性能。使用与在线系统中相同的目标识别方法(详见材料和方法)来估计BCI性能(即准确性和ITR)。为了模拟不同激励参数(即相位间隔值和数据长度)对应的SSVEP数据，通过添加由频率和相位确定的不同时移，从5-s离线数据期中提取数据期(具体内容见 Materials and Methods部分)。
  图5A显示了不同相位间隔和刺激持续时间对应的分类精度。相应的itr如图5B所示。当刺激时间为0.5 s、相位间隔为0.35π时，ITR达到最大值(4.32 bps)。对于给定的0.5 s的数据长度，准确率和ITR与相位区间值高度相关(图5 a和B中沿左侧绘制子图)。例如，相位区间0.35π与相位区间0相比显著提高了分类准确率(88.92% vs. 71.04%，配对t检验:P < 10−5)。对于给定的0.35π的相位间隔值，随着刺激持续时间(即数据长度)的增加，精度增加。ITR在0.5 s达到峰值后又开始下降。这些结果表明，在JFPM方法中，0.5 s的刺激时间和0.35π的相位间隔值可以导致高速BCI拼写器的高ITRs。这些参数因此被采用在在线BCI拼写器中。

在线拼写性能
该研究使用两个在线拼写任务(即提示拼写和自由拼写任务;详情见材料和方法)。表1列出了所有受试者在提示拼写任务中的准确率和ITR，系统拼写速度为每个字符1秒。测试期间的平均准确率为91.04±6.73%，所有受试者的ITR为4.45±0.58 bps。个体间最小ITR和最大ITR分别为3.33 bps (S4)和5.25 bps (S11)。配对t检验表明，训练阶段和测试阶段的准确率和ITR差异无统计学意义(准确率:89.76% vs. 91.04%， P = 0.27;ITR: 4.35 bps vs 4.45 bps, P = 0.31)。在线准确率和ITR均略高于离线实验(准确率88.92%，ITR 4.32 bps;图5)。在线实验中BCI性能的提高可以部分解释为训练试验数量的增加(12次试验vs.5次试验)。
表2说明了自由拼写任务的结果。经过一些练习课程(约1小时)熟悉拼写排版后，所有受试者都成功地完成了自由拼写任务。11名受试者顺利完成了任务。一个受试者(S8)犯了7个错误，并使用“退格”消除了这些错误。对于S2和S4受试者，刺激持续时间增加到1 s，以提高准确性。对于三个被试(S5, S8和S10)，由于被试报告的快速注视切换困难，使用了1-s的注视转移时间。平均拼写率为每分钟50.83±11.64个字符(cpm)，导致所有受试者的ITR为4.50±1.03个bps(范围:2.66-5.32个bps)。提示拼写任务与自由拼写任务的ITRs无显著差异(4.45 bps vs. 4.50 bps，配对t检验:P = 0.81)。

3讨论

  通信速度慢仍然是BCI拼写器实际应用的主要障碍。该BCI拼写器在提示拼写任务中实现了60 cpm的高拼写速度，在自由拼写任务中实现了50 cpm的高拼写速度。据我们所知，由此产生的ITRs(提示拼写:4.45 bp;free spelling: 4.50 bps)代表了BCI拼写者报告的最高ITR(4)。为了进行直接的性能比较，本研究总结了近十年来在线BCI拼写者的ITR(图6)。可以清楚地看到，近年来对BCI拼写者的研究越来越流行，ITR有明显的增长趋势。所有系统的平均ITR为0.94 bps。具体来说，编码调制VEP (cVEP)-、SSVEP-和p300系统的平均ITR分别为1.91、1.44和0.29 bps。

  值得注意的是，与之前基于ssvep的系统相比，目前系统的ITR显示出多倍的增长(4.45 bps vs 1.06 bps)。性能的大幅度提升归功于同步调制解调范式中现有的激励表示、目标编码和目标识别方法。理论上，频率相位编码分类ssvep的性能依赖于单次试验视觉延迟的精度。本研究假设单次试验SSVEPs的视觉潜伏期在所有试验中非常稳定。然而，由于自发脑电活动的干扰，在持续时间较短(0.5 s)的单次ssvep的视觉潜伏期难以测量。针对这一问题，提出了一种基于分类的方法，通过衡量分类性能来估计单次ssvep的视觉延迟方差
材料和方法)。ssvep(来自在线提示拼写任务的0.5 s数据epoch)与其时间滞后信号之间的分类结果表明，所有受试者的视觉延迟的平均SD为1.7 ms(图S1B)。每个个体的值在1-2 ms内(图S1C)。通过进一步考虑数据记录中的估计定时误差(SD为0.6 ms)(即刺激与使用事件触发器的脑电图之间的同步)以及分类性能通常低于理论最大值的事实，单次SSVEPs视觉延迟的真实SD可能会更小。这些结果表明，在快速BCI操作期间，SSVEPs的视觉潜伏期在各种试验中非常稳定。因此，对于相同的刺激，可以认为多个实验中诱导出的SSVEP成分表现出相同的频率和相位。
  本研究进一步提出了一个设计和实现基于ssvep的脑机接口的通用框架。由于缺乏计算高效的单次ssvep模型，目前仍缺乏一个设计基于ssvep的bci的系统框架。如图7所示，本研究提出的框架包括三个主要步骤:基准数据集记录、离线系统设计和在线系统实现。
本研究中的离线和在线演示显示了相当的BCI性能(离线:4.32 bps;online: 4.45 bps)，提出了一种简单有效的方法来设计基于ssvep的BCI，并使用基准数据集。采用从离线数据集(Materials and Methods)中提取SSVEP epoch的方法，可以在不需要新的数据记录的情况下模拟目标编码中的各种参数(如频率、相位和刺激持续时间)。单次试验SSVEPs(如上所述)的稳定视觉延迟使得将先进的多种接入方法从电信技术(13)转换为基于ssvep的BCI成为可能。更重要的是，在这个框架下，可以对编码和解码方法进行研究联合测试，使解码方法进一步优化。

  本研究展示了一种高速脑机接口拼写器，拼写速度可达60 cp/m。注意，本研究中的许多受试者都有使用基于ssvep的BCI拼写器的经验，并且熟悉目标的布局。每秒1个字符的拼写速度似乎接近人类视线控制的速度极限。0.5 s的时间间隔包括视觉延迟(∼140 ms)、在线计算时间(∼80 ms)、视线切换所需的时间。然而，如果能够提高分类性能，则可以进一步减少刺激持续时间。提高分类性能有几个方向。首先，刺激持续时间的优化(图5)可以针对每个个体单独进行。例如，在0.3 s的刺激持续时间(受试者S10，相位间隔:0.7π)下，单个受试者的最高模拟ITR达到6.51 bps。其次，增加子带数量(例如:在滤波器组分析中，可以提高分类精度。第三，可以通过增加训练数据中的试验次数来提高SSVEP模板的鲁棒性(19)。第四，可以减小单次实验中视觉延迟的变化(例如，通过减小同步时的定时误差)。最后，编码和解码方法仍有改进的空间。JFPM方法采用固定的频率和相位间隔，是一种简单有效的结合频率和相位调制的目标编码方法。然而，组合策略还可以进一步改进(例如使用不固定的频率和相位间隔)。通过解决这些问题，目前的BCI拼写器的拼写速率可以快到每个字符0.8秒(例如，刺激持续时间:0.3秒和注视转移时间:0.5秒)，其中
对应的理论ITR高达6.65 bps。

  在最近的两项研究中，我们展示了基于ssvep的BCI拼写器的原型系统，itr约为2.5 bps(17,19)。在文献17中，提出了一种基于频率编码方法的滤波器组CCA算法来实现BCI拼写器。参考文献19提出了一种采用频率和相位混合编码方法的离线BCI拼写器。与这些研究相比，本研究在多个方面取得了显著的改进。
首先，本研究实现了一个完全闭环的在线系统，并在提示拼写和自由拼写任务中获得了更高的ITRs (4.45 bps，参考文献17的2.52 bps和参考文献19的2.76 bps)。值得注意的是，本研究中每个试验的数据长度都大大减少了(参考文献17中为0.5秒，参考文献17中为1.25秒，参考文献19中为1秒)，而分类精度是可比较的(参考文献17中为91.04%，参考文献91.95%，参考文献19中为91.35%)。新的JFPM方法将相位编码与频率编码相结合，显著增强了非常接近频率之间的区分能力。通过网格搜索的方法进一步优化相位编码的效率。此外，通过融合滤波器组分析和空间滤波器之间的相似性新特征，基于标定数据的目标识别方法得到了显著改进(图S2)。第二，如上文所述，本研究提出了一种新的基于编码和解码方法联合优化的系统框架。该系统框架可以显著促进基于ssvep的bci的设计和实现。第三，本研究进一步证明了SSVEPs的视觉潜伏期在多个试验中是稳定的，为将同步调制和调制技术从电信引入bci提供了神经生理基础。总之，这些重要的改进导致了目前具有破纪录ITR的高速BCI拼写器。本研究中的拼写任务需要在不同的视觉目标之间快速切换(即每个字符1秒)，这可能导致系统使用的高工作量。此外，在线实验中的训练过程也可能会增加工作量。6个离线块的留一分类(图;S3A)和17个在线区块(图S3B)表明BCIperformance在各个区块之间是稳定的。随着时间的推移，分类性能没有明显下降。这些结果表明，目前系统的工作量在可接受的范围内。
该研究表明，在在线实验中，17个块的视觉延迟是稳定的(图S1C)。然而，在长时间的系统使用中，视觉延迟的稳定性仍然是未知的。因此，高速拼字器在日常使用中的可行性还需要进一步研究。为了减少心理负荷，可以通过增加刺激持续时间和注视切换时间来调整拼写率。此外，可以使用更舒适的刺激参数[例如，高于40 Hz(20)的高频刺激]来减少视觉疲劳。
此外，采用会话到会话的迁移方法可以减少收集训练数据的校准时间(21)。目前的高速BCI拼写器需要视线控制。传统的眼动跟踪方法已被广泛用于实现视觉拼写(22)。报告的眼睛打字速度-
基于追踪的拼写器通常是每分钟5到10个单词。本研究开发的BCI拼写器的拼写速度高达60 cpm(即每分钟约12个单词)。因此，该研究表明BCI的通信速度可以与眼动跟踪系统相媲美，为视线跟踪提供了另一种方法。此外，BCI技术不受用户环境(如观看距离和观看角度)的限制。然而，面向实际应用，基于ssvep的bci的用户舒适度还有待进一步提高。由于无法控制视线，完全闭锁的患者无法使用目前的拼写工具。对于这些患者，视觉拼写需要用视线无关的bci实现，这可以通过隐蔽注意进行操作(23)。对于SSVEP，可以基于空间注意力(24)和特征注意力(25)实现视线无关的BCI拼写器。本研究提出的编解码方法和系统设计框架仍然有助于设计和实现基于ssvep的独立脑机接口。
例如，联合调频调相方法和基于模板的目标识别方法具有提高注意力检测速度和精度的潜力。

4实验环境设置与方法

4.1Participants

  18名视力正常或矫正至正常的健康受试者(10名女性，年龄22 - 29岁，平均25岁)参加了实验。采用基于ssvep的脑机接口speller软件，设计了离线实验和在线实验。两组共12名受试者分别参与两组实验。在所有受试者中，有6人在两个不同的日子参加了两个实验。在之前的研究中，有13名受试者有使用基于ssvep的BCI拼写器的经验。在线实验中的5个被试(S3, S5, S6, S7, S9)对BCI拼写器的理解是naïve。实验前，每位参与者都被要求阅读并签署一份经清华大学研究伦理委员会批准的知情同意书

4.2视觉刺激呈现

  采用采样正弦刺激法(6)在液晶显示器上展示了基于JFPM编码的视觉闪变。一般情况下，通过使用以下公式调制屏幕的亮度，可以生成频率f和相位Ø对应的刺激序列。

其中sinð生成一个正弦波，I表示刺激序列中的帧索引。刺激信号的动态范围从0到1，其中0表示暗，1表示最高亮度。理论上，该方法可以实现任意频率(不超过半个刷新率)和相位的激励信号。

4.3BCI拼写器

  利用提出的方法设计了一个40目标的BCI拼写器JFPM方法。如图1A所示，用户界面是一个5 × 8的刺激矩阵包含40个字符(26个英文字母、10个数字和4个其他符号)。具体地，对40个目标进行线性递增的标记频率和相位，它们的增量都与之成正比目标指标。矩阵中每个目标的频率和相位值可以通过以下方式获得如图B的显示：

4.4 SSVEP EEG 数据记录场景参数

使用synnamps2系统(Neuroscan, Inc.)以1000 Hz的采样率获取EEG数据。采用顶枕区9个电极(Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、do2)记录SSVEPs。参考电极放置在顶点。电极阻抗保持在10 kΩ以下。刺激程序产生的事件触发器从计算机的并口发送到脑电放大器，并记录在与脑电数据同步的事件通道上。在线实验中，通过在线数据分析程序实时记录脑电信号和触发信号并进行分析。在线数据分析程序是在MATLAB (MathWorks, Inc.)下开发的。模拟矩阵在23.6英寸的液晶显示屏上显示，分辨率为1920 × 1080像素，刷新频率为60 Hz。每个刺激都在140 × 140像素的正方形内渲染。这个字符被呈现在刺激中心一个32 × 32像素的正方形内。
两个相邻刺激之间的垂直和水平距离为50像素。在MATLAB环境下，利用
心理物理学工具箱第三版(26)。实验过程中，受试者们坐在光线昏暗的隔音室内舒适的椅子上，观察距离显示器约70厘米。

4.5 SSVEP EEG 离线实验场景

  离线实验由六个街区组成。每个区块包含40个试验，对应于以随机顺序表示的所有40个字符。每次试验持续6 s。每次试验都以一个视觉线索(红色方块)开始，表示目标刺激。信号在屏幕上出现了0.5秒。受试者被要求在提示持续时间内尽快将视线转移到目标上。随着提示偏移，所有刺激开始在屏幕上同时闪烁，并持续5 s。刺激抵消后，屏幕空白0.5秒后，下一次试验开始。为了便于视觉注视，在刺激期闪烁目标下方出现一个红色三角形。在每个区块中，受试者被要求在刺激期间避免眨眼。为了避免视觉疲劳，在两个连续的街区之间有几分钟的休息。

4.6 SSVEP EEG 在线实验场景

  在线实验中，每次实验仅持续1 s，其中视觉刺激0.5 s，视线转移0.5 s;在线实验分为训练阶段和测试阶段。训练阶段包括12个区块，每个区块包括40次试验。训练块用于推导每个个体的SSVEP模板和空间滤波器(目标识别方法的细节如下所示)。测试阶段包括提示拼写和自由拼写任务。提示拼写任务包括五个区块(每个区块40次)。下一个目标的信号在刺激抵消后立即出现。实时向受试者提供视觉和听觉反馈。在线数据分析程序正确识别目标后，会发出一声简短的哔哔声。与此同时，在屏幕上方的文本输入框中输入目标字符。自由拼写任务要求受试者在没有视觉提示的情况下输入14个字符的序列(“高速BCI”)。这项任务对每个受试者重复三次。提示拼写任务中的听觉反馈被视觉反馈(在被识别的目标位置上的一个红色方块)取代。在两个连续的街区之间有1分钟的休息。

4.6 SSVEP EEG 数据预处理

  在离线和在线实验中，根据刺激程序产生的事件触发点提取包含9通道ssvep的数据epoch。考虑到视觉系统中的延迟(27)，离线和在线实验的数据epoch分别在[0.14 s 5.14 s]和[0.14 s 0.64 s]中提取(时间0表示刺激开始)。在这项研究中，140毫秒的延迟在所有受试者中被选择为最高的分类精度。所有周期首先向下采样到250hz，然后用无限脉冲响应(IIR)滤波器从7hz到70hz进行带通滤波。利用MATLAB中的filtfilt()函数实现零相位正、反滤波。

4.7基于CCA的目标 SSVEP 脑电识别算法

  CCA已被广泛用于检测SSVEPs的频率(28)。CCA是一种度量两个多维变量之间潜在相关性的统计方法。考虑两个多维变量X、Y及其线性组合X =X T W X和Y =Y T W Y, CCA通过求解以下问题，找到使X和Y之间相关性最大化的权重向量W X和W Y:

ρ相对于wx和wy的最大值是最大的典型相关。
以下是计算CCA求解该矩阵具体过程的内容
计算代码如下：
计算协方差矩阵与特征值地址http://t.csdnimg.cn/RaBOx

Wx和Wy，的计算其实是以下数据的矩阵的特征值矩阵。在SSVEPs的频率检测中，X表示多通道SSVEPs脑电数据Y是参考信号在an中检测SSVEPs的频率无监督方式，以正弦信号作为参考信号Y f (28):
其中f为激励频率，nh为谐波数。为了识别SSVEPs的频率，CCA通过计算每个刺激频率对应的参考信号与多路SSVEPs之间的典型相关性来识别其频率。将具有最大相关性的参考信号的频率作为SSVEPs的频率。

4.8 SSVEP 基于独立受试者校准模板数据的CCA

  最近，个体校准数据已被纳入目标识别方法，以提高基于ssvep的bci的性能(29-32)。这些方法将ssvep个体差异融入到目标识别中，均取得了显著的分类性能提升。采用一种改进的基于SSVEP模板的方法，将个体SSVEP校准数据用于目标识别(19)。图S2B给出了该方法的流程图。该方法在标准CCA方法的基础上，将单次SSVEPs与SSVEP模板信号的相关性分析结合起来进行特征提取。

此外，提出了一种新的特征，用于度量来自训练数据和测试数据的基于cca的空间滤波器之间的相似性。对于第k个目标，训练SSVEP模板信号Xk可以通过在训练集中多个SSVEP试验的平均得到。使用基于cca的空间滤波器，测试集X的投影与训练SSVEP模板信号Xk的投影之间的相关系数可以作为特征。具体来说,以下三个权重向量作为空间SSVEP的过滤器来提高信噪比:(i) Wx(XXk)之间测试集X和培训SSVEP的模板信号k, (ii), Wx(XYf)之间测试集X和Y f k正弦余弦参考信号,和(3)Wx(XkYf)训练SSVEP的模板信号之间Xk和正弦余弦参考信号Yf。Wx(XXk)和W X k (X*Xk)通过计算SSVEP模板投影之间的相关系数(Xk)间接衡量两者之间的相似性。对于第k个模板信号，相关向量定义如下:


其中符号用于从测试集X和训练SSVEP模板信号Xk之间的负相关系数中保留鉴别信息。选取加权相关度值最大的训练SSVEP模板信号作为目标对应的SSVEP模板信号。

4.9滤波器组分析

滤波器滤波器组分析的目标是将SSVEPs分解为子带分量，以便更有效地提取嵌入在谐波分量中的独立信息，以增强SSVEPs的检测。所提方法的流程图如图S2A所示。滤波器组方法包括三个主要步骤(17):(i)子带分解，(ii)每个子带信号的特征提取和(iii)目标识别。首先，滤波器组分析将多个具有不同通带的滤波器进行子带分解;滤波器组的频率范围为[7 Hz 70 Hz]。本研究在SSVEP分量的上界频率(即第n个子带从n×8 Hz频率开始，到70 Hz结束)设计了覆盖多个具有相同高截止频率的谐波频段的子带。用于提取的带通滤波器
原始脑电信号X的子带分量(Xn, n=1,2，…，n)为零相位Chebyshev I型IIR滤波器。滤波是用MATLAB中的filtfilt()函数实现的。在滤波器组分析后，对每个子带分量分别应用特征提取方法(Eqs. 7和Eqs. 8)。计算所有子带分量对应的相关值的加权平方和作为目标识别的特征:

其中n是子带的索引。根据发现SSVEP谐波的信噪比随着响应频率的增大而减小(图3c)，子带分量的权值定义如下:

4.10 模拟刺激持续时间和相位间隔值。

为优化speller的脑机接口性能，采用不同的相位间隔和刺激持续时间，通过添加由频率和相位决定的不同时移，从5-s离线数据期中提取数据期。对于每个刺激频率，首先将5-s数据epoch进行时移循环左移，以生成初始相位为零的ssvep:
其中a和b是最大化分类性能的常数。在实践中，a和b可以通过离线分析的网格搜索方法确定。在本研究中，a和b的值分别设置为1和0。最后，得出所有刺激频率对应的~ ρ k(即~ ρ 1，…，~ ρ 40)测定SSVEPs的频率。将~ ρ k最大的参考信号的频率作为SSVEPs的频率。离线分析表明，子带数越多，性能越好。但为了满足实时处理的要求，本研究仅使用了两个子带[8 Hz 70hz]和[16 Hz 70hz]。

其中n为数据样本的指标，f s为采样率。的时间根据刺激频率和初始值得到偏移量由公式4描述的相位值。零相期进一步移位用时移循环生成对应的模拟SSVEPs不同相位区间值:

###4.11 评鉴指标
分别计算离线和在线实验的分类准确率和ITR。计算ITR(比特/秒)的方法如下(1):

其中M是类别数(在本研究中为40)，P是目标识别的准确率，T(每次选择的秒)是选择的平均时间。在离线实验中，采用留一交叉验证来估计模拟的在线BCI性能。在交叉验证中，从训练数据中获取单个训练SSVEP模板信号;为了评估离线实验中最优的BCI性能，本研究计算了不同刺激持续时间和相位间隔下的准确率和ITR(图5)。对于在线实验，分类准确率和ITR是根据测试阶段在线数据分析程序得到的结果计算的。对于离线和在线实验的ITR估计，将视线转移时间纳入计算。

4.12 单试验SSVEPs中视觉潜伏期SD的估计

单次试验的视觉潜伏期变化可以通过不同试验之间的相位差来测量。然而，单次试验中的ssvep通常受到强自发脑电活动的干扰，使其难以识别直接测量SSVEPs的相位。提出了一种基于分类的方法来估计单次ssvep的视觉潜伏期变化。其基本思想是通过量化ssvep之间的分类精度及其时间滞后信号来估计视觉延迟的分布。假设视觉延迟服从正态分布，来自该分布及其时间延迟分布的数据样本之间的二分类精度可以反映该分布的标准偏差(图s1a)。分类精度随着时间滞后的增大而增大，导致两个分布之间的重叠面积变小。因此，给定不同时间延迟的精度曲线，就可以估计视觉延迟的SD。在实际应用中，可以通过对单次ssvep及其时滞信号进行分类来计算其精度曲线。本研究使用线索拼写任务(共17个区块)中的0.5 s纪元及其时间滞后纪元作为两类来估计分类精度(图s1 B和C)。时间滞后范围为0 ~ 10 ms。为了充分提取单次试验中ssvep的信息，分类方法与BCI speller中使用的目标识别方法相同。需要注意的是，由于脑电背景活动的干扰，理论分类精度要高于估计值。因此，单次ssvep的视觉延迟真实标准差应该小于估计值。

5结论

  本文
  未来，的连接。