多模态EEG+fNIRS测量心理负荷

本文研究了多模态功能性神经成像技术用于量化心理负荷(mental workload, MWL)的效果。我们使用脑电图(EEG)和功能性近红外光谱成像(fNIRS)，招募17名健康受试者参与字母n-back任务，MWL水平设置0到3的四种难度。研究使用19个EEG通道覆盖全头，19个fNIRS通道覆盖前额(WM（工作记忆）最主要涉及的脑区)。多模态数据的block均值揭示了MWL水平变化期间氧合血红蛋白浓度的特别变化。已有研究使用机器学习来检测MWL水平，我们从EEG、fNIRS和EEG+fNIRS多模态信号中提取不同特征作为MWL的生物标记，并作为训练集、测试集提供给线性支持向量机(linear SVM)。我们也在fNIRS和EEG+fNIRS系统中引入一类新的特征并系统评估了每个特征类别的分类性能。我们还评估了特征数量、窗口大小对分类性能的影响。除了分类器的交叉验证性能水平之外，我们还计算了其他指标(如灵敏度、特异性、预测值)来对三种成像技术用于机器学习分类的表现进行综合评估，结果显示多模态EEG+fNIRS的准确率明显高于单模态的EEG或fNIRS。研究结果表明，EEG+fNIRS的特征结合分类器能够有效区分出不同级别的MWL，在开发被动BCI和其他需要监测用户MWL的应用程序时，EEG+fNIRS的效果会优于仅使用EEG或fNIRS。 本文发表在Frontiers in Human Neuroscience杂志。

1.引言

心理负荷(MWL)会影响人机交互的表现。在日常生活中，因为需要在复杂界面中操作，人机交互可能有很高的认知需求，而精神负载可能损害用户的表现，甚至用户的安全(因为会导致犯错、疲劳、动力下降、反应时变长、忽视关键信息)。因此考虑用户的认知特征和局限性对于人机界面(BMI)改良设计非常重要，我们可以通过让机器随用户MWL变化进行自适应来提高操作效率。

MWL被定义为操作员执行给定任务期间所需脑力的比例。根据多资源理论[资源被分为四个维度：加工阶段（感知或认知vs.反应）、感知形式（视觉vs.听觉）、视觉通道（焦点vs.环境）、编码加工（语言vs.空间）]，执行不同任务时需要一组相互独立的资源，这些资源容量有限、可分配给不同任务。当两个任务需要同一维度的资源时，这两个任务之间会相互干扰，形成障碍并导致随后的任务表现下降；当两个任务需要不同维度的资源时，这一现象不会发生。而在边开车边打电话的情况下，当其中一项任务吸引过多注意力时，不同维资源不相互干扰的优势也被消除了。

MWL受任务属性、执行任务的环境、执行人员的个性特征影响。任务属性包括任务难度、单调性、使用的资源类型；环境包含不同程度的干扰和噪音；操作员个性特征涉及培训、专业知识、不断变化的疲劳、动力、警惕性水平。我们可以通过调节这些变量的子集并控制其余变量来系统地调整MWL。

确定MWL的方法可分为三大类：

(1)使用标准问卷如NASA-TLX进行自我报告和主观评分；

(2)行为测量，例如主、次要任务的表现；

(3)基于用户生理的测量，包括：心率变异性、动眼神经活动、瞳孔测量、肌电图、皮肤电反应和大脑活动。

自我报告和行为信息是分散、侵入式获得的，往往产生延迟，此外基于行为表现的信息可能被误解，因为不同MWL水平可能伴随相同的行为表现。生理测量不需要被试有明显的行为，几乎不干扰用户执行任务，且可以连续记录信息并无显著延迟。生理测量的优势随着轻量化化无线技术的进步也进一步扩大。

出现大量使用EEG开发BMI的研究之后，大多数基于脑功能的MWL研究都使用了脑电图 (EEG)[不尝试直接控制设备，而是根据实时的用户状态来调整用户界面的BMI（human-machine interfaces）被称为被动BMI]。功能性近红外光谱成像(fNIRS)作为一种较新技术，在BMI应用中具有潜力，已有研究发现fNIRS可用于区分不同的运动任务或解码被试的二元决策。MWL与中枢神经系统活动之间的关系也被确立。近期，同时使用EEG和fNIRS的多模态技术因其能提供相对丰富的信息而广受欢迎。已有证据表明，测量MWL相关大脑活动可比眼部、外周生理测量提供更多的信息。

同时使用EEG和fNIRS称为EEG+fNIRS，其比单独使用EEG或fNIRS更为准确，是一项很有前景的技术。fNIRS通过头皮上的近红外光源与探测器测量脑血流量(CBF)和相关血红蛋白的浓度变化，提供与EEG互补的信息。fNIRS在便携性上可与EEG相媲美，且不受肌电图(EMG)和眨眼伪迹的影响，其信号与功能性磁共振成像(fMRI)测量的血氧水平依赖(BOLD)信号密切相关[BOLD信号也是测量脑血流动力学的黄金标准]。除了集合不同类型信号的优势外，EEG+fNIRS还能提供新的特征类型：基于神经血管耦合(NVC)的神经活动调节局部血流、氧合的级联过程[NVC的相关特征不能通过EEG或BOLD单模信号来分辨]。

工作记忆(WM)短时保存、处理复杂认知任务所需信息。先前的功能性神经影像学研究将前额叶皮层(PFC)确定为WM最相关的激活脑区。已有研究使用EEG、fNIRS以及EEG+fNIRS研究了以WM负荷为实验范式的MWL检测。如上文所述，NVC（神经血管耦合）相关信息可以通过EEG+fNIRS得出,最近的研究也显示出了EEG+fNIRS应用于主动BCI的潜力。在本研究中，我们在这些工作的基础上探索了EEG+fNIRS应用于MWL检测的效果。

N-back任务可用于测量WM（工作记忆）的水平，在认知神经科学领域中经常使用。Gevins和Smith表示，在高任务负荷的条件下，被试执行n-back任务时EEG的额中线theta波活动增加，alpha波活动减弱。fNIRS研究发现在执行n-back任务时WM负荷会激活PFC。n-back任务涉及WM，并会随着n值增加而变得更加困难，因此我们使用n-back任务作为实验范式，n的范围从0到3。本研究仅招募没有此任务经验的健康成年志愿者，所有其他条件保持不变，在相同的实验室条件下进行实验，实验设计与大部分以WM负荷作MWL标记的BMI研究一致。

研究目的:

1)引入、验证在单个帽子中同时使用EEG+fNIRS的有效性。

2)开发使用EEG+fNIRS区分MWL水平的方法，并证明其有望在现实环境中准确量化MWL。

3)严格对比单模态和多模态的分类性能。

2.方法

2.1.被试

平均年龄26.2岁（标准差7.7岁）的17名健康志愿者（16名男性，1名女性），均为大学学生或员工，实验程序得到休斯顿大学机构审查委员会的批准。执行n-back任务期间，被试通过空格键检测目标字母。所有被试都是右利手并使用惯用手进行实验。没有受试者曾参加过n-back任务相关研究，因此没有预期的训练效果。

2.2.实验设计

MWL评估最常见的WM（工作记忆）范式之一是n-back任务。字母n-back任务中，被试将观察一系列单个字母，每个字母间隔一定时间；他们要决定字母是否是目标字母[与序列中前n次出现的字母是否相同]。随着n值增加，任务难度变高，研究通常使用0-back任务作为控制状态。图1说明了字母n-back任务在n为0、1、2或3时的模式。被试根据n值找到目标字母并执行操作。

每个实验有40个session，以伪随机顺序呈现，每个n-back任务(0\1\2\3-back)10个session。每个session中，首先出现一个指令block，指令显示5秒，告知受试者将要开始哪种n-back任务。随后，22个随机选择的字母依次出现（任务block），每个字母呈现500毫秒，受试者有1500毫秒的时间进行按键反应。每个session结束时有一个25秒的休息block，休息期间受试者保持放松，专注于屏幕上的十字注视点，让大脑激活返回基线状态。图2显示了一个示例session，总时长50分钟。实验程序使用Presentation编写，目标字母识别准确率太低（0-back<90%或1-back<80%）的受试者将被筛除。

图1. n为0，1，2，3时的字母n-back任务示意图

图2.字母n-back任务实验设计，每个session包括指令、任务和休息block

2.3.数据采集和预处理

一项元分析发现字母n-back任务强烈激活的皮质区（Broadman区6、7、8、9、10、32、40、45、46、47和辅助运动区）。我们参考此信息与之前的EEG研究结果为19个EEG电极选择最佳位置，Fpz作接地电极，Cz作参考电极。使用microEEG设备采集EEG数据，采样率250Hz（图3a），电极阻抗保持10千欧以下，使用128通道电极帽（EasyCap，德国）。如图3c所示，fNIRS光极覆盖受试者额头[完全覆盖PFC]，7个光源和7个探测器形成19个通道，光源-探测器(S-D)距离3厘米。根据标准10-20系统（图3b，c），S4和D4位于前额中心，其中D4位于AFz的位置，通道10位于Fpz的位置。我们在前额上使用三元组支架（triplet-holder）将每个EEG电极保持在S-D对的中间，并固定传感器的距离。使用NIRScout采集fNIRS数据，采样率8.93Hz，通过常用事件触发器(common event triggers)与EEG数据同步（图3a）。NIRScout是一种双波长的连续波系统，对EEG信号进行0.5-80Hz的带通滤波以及60Hz的陷波滤波来降低工频干扰。

图3. (a)EEG+fNIRS的记录设置。被试与计算机交互，同步、记录EEG和fNIRS信号并传输到采集平台。(b)受试者的头颅视图，显示放置fNIRS光和EEG电极的近距离视图。(c)fNIRS光源（Si，黑色）和探测器（Di，红色）、EEG电极（绿色）的地形图。

我们使用空间拉普拉斯变换从EEG信号中去除肌电伪迹，每个EEG信号减去了相邻电极的平均EEG值，图4显示了19个EEG通道的相邻电极配置。NIRScout设备以两种不同的波长（760和850nm）记录信号，氧合、脱氧血红蛋白浓度变化（HbO和HbR）使用修正版Beer-Lambert定律，通过发色团消光系数和差分路径长度因子标准值计算得出。fNIRS可能受到运动、心率和Mayer波伪迹的影响，为了最大程度保留信息量并减少伪迹的影响，我们对fNIRS信号使用0.01–0.5Hz的带通滤波，排除伪迹超过10%的数据。图5显示了其中一个受试者的一段预处理数据，该图显示了用于做特征提取的fNIRS和EEG时域信息。第一、二行分别是fNIRS通道17的HbO和HbR，第三行是O2通道的EEG。

图4. EEG地形图展示了拉普拉斯空间滤波的相邻模式。

图5.一名受试者的样本预处理EEG+fNIRS数据。(a)通道17的氧合血红蛋白(红色曲线)和脱氧血红蛋白(蓝色)的浓度变化；(b)通道O2的EEG时频图。

预处理后每个任务block（0, 1, 2, 3-back）和休息block使用5、10、20或25秒的窗口，以评估窗口大小对分类的影响。图6显示了四种不同的窗口标记类型。大多情况下相邻标记存在重叠（标记长度的一半），这种重叠是为了捕捉每个人独特的时间响应[因为血液动力学响应达到峰值所需的时间和/或峰值数量可能存在个体差异]。此外在分类阶段，每个类中特征数量不同会使训练效果偏向于数量更多的类。当窗口大小从5秒更改至25秒时，每个任务block分别提取16、8、4和2个特征，休息block提取5、4、2和1个特征。

图6. 基于窗口长度的四种不同模式。

任务block和休息block分为(A)5、(B)10、(C)20和(D)25秒的窗口(wi)。

2.4.特征提取

每个窗口提取了三类主要特征：EEG（单模态）、fNIRS（单模态）、EEG+fNIRS（多模态）。EEG的特征提取为频带功率(PSD)、相位锁值(PLV)、相振幅耦合(PAC)以及左右半球之间频带功率的不对称性(Asym_PSD)。使用短时傅立叶变换对数据进行时频变换，窗长为1s,步长为半个窗宽，频率分辨率为1Hz。计算8个频段的功率，每个频带的宽度为4Hz，范围为0到32Hz，使用f1到f8表示8个频段。PLV用于度量不同神经元群之间的相位同步程度，在三种电极对[半球内、对称半球间和非对称半球间]、四个目标频带（[3-5]、[9-11]、[19-21]、[39-41] Hz）总进行计算。PAC测量低频相位与高频振幅的耦合关系，用于估计局部多频组织神经元活动。选择8个左右半球之间的EEG通道对计算Asym_PSD。

fNIRS特征为：HbO和HbR的幅度(HbO/R Amp.)、斜率（HbO/R slope）、标准差（HbO/R Std.）、偏度（HbO/R Skew.)，以及HbO和HbR的峰度(HbO/R Kurt.)。HbO和HbR的统计数据通常用作MWL和BMIs的fNIRS特征，研究包含的特征数据揭示了HbO和HbR的时域、区域相关性，因此我们还纳入了HbO和HbR的零滞后相关性（HbO-HbR Corr.）作为附加特征。

多模态特征基于EEG和fNIRS的特征以及同时依赖两个系统的特定混合量，我们选择了一个可在目标时间窗口内轻松计算的值：Hb（HbO或HbR）幅度与EEG频带功率的零滞后相关性，分别表示为NVO（氧化神经血管耦合）和NVR（脱氧神经血管耦合）。

2.5.分类与验证

分类与验证使用了SVM分类和k=10的k-fold（十折）交叉验证。SVM已在医学诊断、光学字符识别、电力负荷预测等领域取得理想成果，在数据不规则的情况下具有优势。线性SVM构建了一个最优超平面，由此创建决策面，最大化属于不同类别的最近邻数据点间的分离边界。k-fold将数据随机分成k个大小大致相同的组，选择一组作为测试集，其余作为训练集。每个特征组都做了主成分分析(PCA)。计算PCA后产生19个主成分(PC)及其相关的时间序列，用作新的特征组，类似的PCA继续应用于每个特征组，生成包含一组权重值，这可以解释为脑区激活地图。由此，我们通过PCA解释了与每个特征相关的激活分布。PCA还能生成与该特征的方差相应的特征值，这个值通常会急剧下降，前几个的总和几乎占19个PC的所有能量。然而如结果所示（表1），能量最高的PC（主成分）不一定提供最多信息。为了估计区分特征的能力，我们使用皮尔逊相关系数，用代表休息或任务难度级别的整数标记窗口来构建参考时序（{0（休息），1（0-back），2（1-back），3（2-back））,4(3-back)})，使用R2（时间序列和参考信号间皮尔逊相关的平方）对特征集进行排序。

本研究中有10对可能的二元分类对应五个不同类别(rest，0/1/2/3-back)，我们选择{1-back v rest}、{2-back v rest}、{3-back v rest}、{1-back v 0-back}、{2-back v 0-back}和{3-back v 0-back}来研究不同特征组区分WM（工作记忆）负荷的能力。我们还研究了多元分类区分MWL的能力，使用全对(all-pais) ECOC(纠错输出码多类模型)模型，用训练数据中的类别来训练分类器，为测试数据中的新实例分配标签，最小化所有二元分类器预测的汉明损失[与替代方案相比，这种方法已被证明可提高准确率同时保持较低的运行时间复杂度]。多元分类包括四组多类集：{3-back v 2-back v 1-back}、{3-back v 2-back v 1-back v 0-back}、{3- back v 2-back v 1-back v rest}和{3-back v 2-back v 1-back v 0-back v rest}，最后交叉验证重复k次，每组观察值仅用作测试数据一次，总准确率为重复验证的均值。除了整体准确率之外，还通过混淆矩阵(confusion matrices)评估分类性能，

主要指标为：

(a)A类(Sens.A)的灵敏度，描述分类器识别A类观察的能力；

(b)A类(Spec.A)的特异性，描述分类器识别不属于A类观察的程度；

(c)A类的阳性预测值(PPVA)，告知给定预测是A类且观察结果真正属于A类的概率；

(d)A类的阴性预测值(NPVA)，告知给定预测不属于A类且实际样本也不属于A类的概率。

我们集合k-fold交叉验证所有k混淆矩阵计算Sens.A、Spec.A、PPVA和NPVA，所有计算使用Matlab R2015b完成。

3.结果

图7.被试在难度增加的任务条件下的行为表现:准确率（红色）与反应（黑色）。误差条表示被试间变异的标准偏差，星号表示统计显著性（*p<0.05，**p<0.001，***p<0.0001）。

首先调查受试表现与任务难度之间的关系。图7显示所有受试者的准确率和反应时，误差条显示被试间变异的标准偏差。该图显示，准确响应的比例随任务难度的增加而降低，0和1-back任务之间的准确率几乎没有下降。此外，受试者正确反应的反应时随任务难度增加而增加（最终增加了一倍多）。

图8. (a)0-back, (b)1-back, (c)2-back, (d)3-back, (e)休息期间的标准化HbO（红色）和 HbR（蓝色）的总block平均值。粗曲线表示所有通道、被试的平均值，阴影区域表示被试间变异的标准偏差。

我们接下来检查心理负荷变化期间的HbO和HbR模式。图8(a-e)显示了HbO（红色）和HbR（蓝色）波幅的block平均值，阴影区域显示了被试间变异的标准偏差，总block平均表示所有通道、所有被试在同一类block的平均值。神经激活后，局部血流和血容量通常以秒为单位增加，且在任务开始时PFC的局部氧合增加产生HbO的正峰值，几秒钟后由于氧的代谢消耗，氧合血红蛋白浓度下降导致负的HbO幅值。任务block之后的休息期间，氧合血红蛋白浓度开始增加，HbO回到基线，而在休息即将结束时，即将到来的任务预见了HbO的升高。任务期间HbO的变化幅度明显高于HbR，其正峰值从0到2-back增加，而后从2到3-back降低。HbO和HbR具有相反的变化趋势，休息状态下二者短时间负相关，在任务期间变化取决于n值。HbO变化的范围随着n的增加而增加，从2变为3时略有下降。在图8f与8g中我们展示了一个特定的fNIRS通道（通道10，位于Fpz，近前额中心），休息与所有n值任务的曲线显示在同一个图中以便于比较。我们只显示n-back任务block的前25秒（在完整的44秒中），为清楚显示信息省略了标准偏差的阴影区域。图8f显示，HbO的峰值幅度在任务表现时是正值，休息时是负值，当n>0时随着负荷的增加而减小。曲线下的面积清楚区分了休息和任务block，在休息期间为负，在所有n-back任务中为正，10秒后出现的HbR的block平均峰值（图8g）与心理负荷水平呈正相关。在0-back任务中没有观察到这些变化，因为它只与感知有关，与WM的关系较小。

图9. 5秒窗口特征标准化的总block平均值：（a）通道O2的PSD（delta、theta、alpha波段），(b)通道10的HbO/R Amp.，(c) (d)通道10的NVO与NVR（delta、theta、alpha波段），阴影区域表示被试间变异的标准偏差。

图9显示了WM（工作记忆）负荷程度变化时，EEG提取的PSD、fNIRS提取的HbO/R Amp.、EEG+fNIRS提取的NVO/R特征，图中一个session包含一个任务block和随后的休息block。对于每个认知状态(0/1/2/3-back)，每个被试都经历10个session，窗口为5秒时每个session得到21个特征值（16个来自任务block，5个来自休息block）。图9的曲线通过三角移动平均滤波器计算，每一步覆盖三个样本，然后是三次样条插值(cubic spline interpolation)。该图显示EEG的theta、alpha波段在0-back和1-back期间为正，在2-back和3-back任务中变为负值；HbO从0到2-back显示正峰值，3-back略低于2-back；多模态特征（如delta范围内的NVO）通常类似于相应的单模特征（如delta范围内的HbO和PSD）的变化，但HbO和PSD均不受NVO支配，表明多模态特征包含额外信息。

表1.三个具代表性的被试的休息v 3-back二元分类特征排名(通过R2排名)。

表1显示了3-back v rest分类中三名受试者排名最高的10个特征（基于R2排名），特征由缩写（如PSD、PLV、HbO，详细信息见方法部分）和特定频段表示[频段仅适用于脑电图和神经血管特征]。根据特征值的量级显示了特征的顺序[从能量最高的(1)到最低的(19)，因为PLV没有使用PCA，给出通道标签而非PC（主成分）顺序]。例如，被试1中排名最高的特征是能量排名第三的PC（主成分），EEG的theta波(4-8 Hz)，受试者3中排名最高的特征是能量第二高的PC，基于HbR与EEG高Beta范围（28-32Hz）的神经血管特征。这说明排名靠前的特征类型可能因被试而异，特征的区分能力高并不意味着PCA的能量高。

图10.使用5秒特征窗口对rest v 3-back分类时各特征类型的准确率。误差条表示受试者间变异性的标准偏差，神经血管特征联合缩写为NV，从不同系统中提取的特征：EEG（灰色条）、fNIRS（红色条）和多模态（绿色条）。

图10显示了各系统的分类精度，包括使用5秒窗口的3-back v rest的多模态系统。误差条代表被试间变异的标准偏差。在EEG组（灰色条）中，最左边的条是仅基于PSD特征的准确性，往右是仅基于PLV特征的准确性，对于PAC和其他特征类型也是如此。EEG组中最右侧的条显示了完整EEG系统的准确性，其中包括基于EEG信号的所有特征类型。显然，PSD是EEG区分能力的主要贡献者，然而通过包含其他特征类型，该系统的准确性似乎略有提高。在fNIRS系统（红色）中，最左的条形表示Hb幅度，Hb幅度和HbO-HbR相关是检测准确性的主要贡献者。与EEG系统不同，斜率和高阶统计量等其他特征类型显著提高了fNIRS系统的准确性。fNIRS系统的整体精度低于EEG系统。仅基于神经血管特征的准确率由多模态组（绿色）中最左侧的条形指示，多模态组的中间条代表来自EEG和fNIRS系统的所有特征的合集，在多模态系统中包含神经血管特征（最右绿色条）略微提高了准确性。

图11. (a)准确率和(b)EEG（黑色）、fNIRS（红色）、多模态（绿色）系统的R2累积总和作为系统规模的函数。

被试的平均值和标准偏差分别由实线、阴影区域表示，分类任务为rest v 3-back，特征窗口大小为5秒。

图10比较了各成像系统的准确率，每个系统都包含属于它的全套特征，其数量有所不同，如EEG、fNIRS和多模态系统分别包含360、209和873个特征，这可能导致系统准确性受特征数量的影响，因此我们使用R2排序在不同的系统间选择相同数量的特征进行后续分析。图11a表明fNIRS系统的准确率最低，EEG的表现更好，多模态始终优于前二者。图11b显示了随特征数量的上升时，三个系统的R2指数总和的变化，计算的是5秒窗口大小的3-back v rest，其在性质上与其他窗口大小的其他类别对的分类结果（未显示）一致，阴影区域表示被试间变异的标准偏差。

表2-3. 表2.研究中所有受试者（S1至S14）的二元分类准确率。

表3. 研究中所有受试者（S1到S14）的多类分类准确性，均用10折交叉验证。

图10仅提供了一种二元分类（3-back v rest）的结果及作被试间变异，然而检查所有被试的结果以及二元、多元分类的结果也很重要。表2、3分解了每个被试（S1、S2、...、S14）、系统类型（EEG、fNIRS、多模态）和分类(二元、多元)的准确率，所有受试的均值及最小、最大值在左侧分三列呈现。图10中EEG（灰色）、fNIRS（红色）和多模态（绿色）组中最右侧条的高度对应表2“均值”列下的准确率百分比83.5、75.3和90.1。单个受试的列中，表2显示10折交叉验证的平均准确率和标准偏差。如表2所示，基线校正后任务分类的平均准确率随n值增加而增加，0-back v n-back的分类精度比rest v n-back(n>0)略高[例如1-back v rest为87.2%，1-back v 0-back为91.4%]。表3显示了多元分类的结果,随着分类中包含更多的类，准确率略有下降。在所有被试和分类中，无一例外，多模态系统的准确率最高。我们调查了这一优势是否具有统计学意义，使用系统（EEG、fNIRS、多模态）和被试作为两个因素，对每个分类进行双因素方差分析，被试间的准确率差异不显著，系统与被试也没有交互作用，不过多模态和单模态系统之间的准确性存在显著差异，p<0.001。

表4. 灵敏度 (Sens.)、特异性 (Spec.)、阳性预测值 (PPV) 、阴性预测值 (NPV) 以百分比 (%) 列出，适用于所有分类情况（二元和多类）与所有系统（EEG、fNIRS、多模态）。

表4列出了每个分类的灵敏度(Sens.)、特异性(Spec.)、阳性预测值(PPV)和阴性预测值(NPV)，并总结了EEG、fNIRS和多模态系统的所有指标，以便更容易地比较它们的分类性能。上述结果均使用5秒的窗口，其他窗口大小所观察到的结果也与其一致。我们还评估了窗口大小（5、10、20和25秒）对EEG、fNIRS、多模态系统分类精度的影响。图12显示了评估结果，窗口大小的变化对三种系统都有相同的影响，从5秒增加到20秒，精度先增加，后下降。

图12.当EEG（灰色）、fNIRS（红色）和多模态（绿色）系统使用不同窗口大小时rest v 3-back分类的准确性，误差条表示被试间变异的标准偏差。

4.结论

研究结果表明，EEG+fNIRS与分类器相结合能够有效区分不同级别的MWL心理负荷 (mental workload, MWL) 。在本研究中，多模态系统对每个被试的准确率都高于单独的EEG或fNIRS。EEG和fNIRS特征合并，以及加入神经血管特征使协同作用增强而。在航空、手术等关键任务环境中，即使微小的MWL检测的改进也可显著提高安全性和效率。本研究使用WM负荷（通过n-back任务）调整MWL的水平。EEG和fNIRS可以在低成本，较少干扰用户的情况下同时使用。综上，开发被动BCI和其他需要监测用户MWL的应用程序时时，EEG+fNIRS结合应优先于单独的EEG或fNIRS。