基于fNIRS连接度特征监测飞行员的参与度(自动vs手动驾驶着陆)

     监测飞行员的精神状态可以减少人为错误、增强人机交互。功能近红外光谱成像技术(fNIRS)可以在生态环境下连续测量精神状态，然而据我们所知，还没有被动脑机接口(BCI)研究评估过fNIRS分类连接度指标的能力。本研究在真实模拟器中设计了一个实验场景，12名飞行员在两种不同的参与级别(手动vs自动)下着陆，收集数据用于分类经典血氧特征(均值、峰值、方差、偏度、峰度、曲线下面积、斜率)和连接度特征(协方差、皮尔逊相关、斯皮尔曼相关、相干、小波相干)。单个特征、组合特征的分类表现通过收缩线性判别分析(sLDA)评估。研究结果表明，连接度特征的性能明显优于经典血氧指标，如小波相干[均值: 65.3/59.9(%, HbO/HbR)，最小值: 45.3/45.0，最大值: 80.5/74.7]。曲线下面积与小波相干性的组合分类表现最优(均值: 66.9/61.6，最小值: 57.3/44.8，最大值: 80.0/81.3）。所有连接度特征在HbO信号计算时都高于机会水平。这些结果有希望为fNIRS的被动BCI研究提供方法论信息。本文发表在Frontiers in Human Neuroscience杂志。

1.介绍

      飞行员失误是影响飞行安全的重要原因。数据显示1960年代以来，自动化的引入提高了飞行安全，现代驾驶舱的事故率仅为上代飞机的一半。然而，这也让机组人员可能无法理解所遇情况并坚持错误决策，导致最终前进、着陆阶段近一半的致命事故。

      自动化的发展让机组人员的角色从“直接(手动)控制者”转变为“系统的监督/决策者”。随着机组人员对自动化更加信任、计算机化系统复杂性上升，机组人员的基本飞行能力降低，无法在自动化出现故障时应对紧急情况。自动化驾驶时，飞行员长时间不活动，警惕性也大大降低。近期研究显示，56%的英国航空公司飞行员在值班时睡过觉，这说明自动化改变了飞行员的参与度，而低参与度导致了低警惕、走神，高参与度导致固着、注意力隧道。这些极端认知状态都可能危及飞行安全，需要监督管理。   

       生理计算(physiological computing)让系统可以识别操作员的状态。诸如被动脑机接口(pBCI)一类的大脑监测技术能检测操作员的精神状态，如工作量、疲劳、参与度。建立一个能持续监测操作员状态的系统是神经适应技术的最终目标，可以提高飞行安全与系统性能。

       虽然实时识别飞行员精神状态仍未实现，不过目前我们有了可操作路径，比如分析使用/不使用自动化驾驶技术时的大脑活动，大脑活动可以使用功能性近红外光谱成像技术(fNIRS)分析。fNIRS的时间分辨率低，在脑机接口研究中不如脑电图(EEG)流行，不过fNIRS也具有三个优势：

      1.信号受电/运动伪迹的影响较小；

      2.空间分辨率高，近红外光可以直达特定的大脑结构(大脑皮质区)，无需额外的计算成本；

      3.可以在实验室环境或偏自然生活的环境(如飞行模拟器)下推断人的精神状态。

      相关研究大多使用局部HbO与HbR浓度相对变化及相关特征 (如斜率、曲线下面积、偏斜度)将大脑激活与特定认知任务关联，研究目标在于提高计算精度，尤其是关键环境下的精度。一些学者提出使用功能连接度来解释大脑的动态激活，因为认知不能被简化为特定脑区的激活，而是大规模分布式神经网络之间的合作。

       此外，功能连接特征已成功应用于EEG的实验室/生态环境心理状态估计。最近一项研究结合了EEG连接分析和模拟器机组监控，显示了不同飞行阶段功能连接模式的差异。一些研究结合fNIRS连接度分析来识别脑间关系，但未用于估计精神状态。应用于精神状态估计的fNIRS连接度测量仍有待发展。   

       经典的相关/协方差测量已成功用于EEG研究。在血氧成像(fNIRS和fMRI)中观察到的一些自发振荡似乎有特定频率，尤其是0.1Hz左右的低频振荡(LFO) ，因而一些研究计算了特定频率下的连接度(如相干、小波相干)。   

       本研究的目标为：

       1.评估fNIRS连接度估计模拟器环境中飞行员参与度的可行性。

       2.评估连接度计算是否比传统特征更好地估计飞行员参与度。

      为实现这些目标，我们设计了一个简化版任务，飞行员需要执行各种手动/自动着陆任务。研究的兴趣区为顶枕区，因为它们在视觉注意力方面发挥关键作用，尤其是在飞行参与。我们还测量了前额叶皮层的活动，因为它的激活反映了心理需求和自上而下的调节。特征选择了经典特征(平均值、峰值、方差、偏度、峰度、曲线下面积、斜率)和连接度特征(协方差、皮尔逊相关、斯皮尔曼相关、幅度平方相干、小波相干)。

2.材料和方法    

2.1.被试      

       12名符合视觉飞行规则(VFR)的飞行员(11男，平均年龄24±3)，视力正常或矫正至正常，听力正常，无精神疾病，都获得了飞行许可。提供知情同意书后，他们在指示下完成5分钟的任务培训。实验持续约1小时，实验得到了法国图卢兹航空工程学院(ISAE-SUPAERO)委员会批准。   

2.2.实验设计    

       实验包含8个session，4个手动着陆、4个自动着陆。实验在ISAE-SUPAERO空中客车A320全运动模拟器中进行，模拟了双引擎飞机的飞行环境。如图1，用户界面由主飞行显示器(PFD)、导航显示器、电子中央飞机监控显示组成，飞行员还有一个飞行控制单元(FCU)与自动驾驶仪交互。   

图1.Airbus A320双引擎模拟器

如图2，每个session有3个阶段：休息、巡航、着陆，着陆阶段有手动模式(困难)和自动驾驶模式(容易)，手动模式下需要控制飞机速度和轨迹。实验中session伪随机出现。

图2. A)实验流程，B)巡航与着陆阶段，C)飞行轨迹视图

      在巡航阶段，自动驾驶仪启动，要求飞行员放松，此阶段采集数据作为基线数据。当接近ILS(仪表着陆系统)范围(大约2分钟后)时，要求飞行员通过自动飞行系统着陆，或者解除自动化手动着陆飞机，按下飞行杆与油门上的红色按钮可以停用自动驾驶仪与自动油门。被试事先不知道着陆是自动还是手动执行的。着陆阶段在飞行员降落到着陆地面后10秒结束，开始实验之前被试通过30分钟的训练session来熟悉模拟器环境。   

2.3.数据采集    

2.3.1.主观工作量评估

      实验结束后要求被试完成一份主观工作量水平问卷NASA-TLX。该问卷综合了心理需求、身体需求、时间需求、整体表现、挫折程度、努力6个因素。

2.3.2.fNIRS反应    

      串联模式下使用两个NIRSport采集设备以增加传感器数量。每个系统有8个光源、8个检测器，波长为760和850nm，采样率7.8125Hz。2个fNIRS系统覆盖前额、枕区，光源-检测器最大距离3厘，通道数量为42个。光子通过皮层的概率路径使用tMCimg软件(在Homer2)估计。光极位置和仿真结果如图3，开始实验前进行了校准以检查每个光极的信号质量。    

图3.通道覆盖脑区，(A)前额叶，(B)枕叶，(C)侧视图，颜色条代表定位敏感度

2.4.数据分析     

2.4.1.预处理    

      使用Homer2软件包在Matlab R2015b分析fNIRS数据，分析流程如图4。分析着陆阶段的数据，由于被试的着陆时间(152±22s)可能因表现而略有不同，因此提取数据时基于最短着陆时间，每个受试者每次着陆有12个epoch。  

      每个epoch独立处理，原始数据转换为光密度，分别应用伪迹去除和带通滤波，伪迹校正使用小波插值法(最大信噪比)，带通滤波适用巴特沃斯高通滤波器(截止频率0.01Hz-3阶）和低通滤波器(截止频率0.5Hz-5阶)。   

      过滤、去伪迹后数据转换为氧合血红蛋白[HbO]和脱氧血红蛋白[HbR]浓度变化。通过boxcar函数保留每个epoch的80个居中样本(~10s)，这是为了避免频谱泄漏(特别是小波变换)并获得没有重叠的10s窗口。

图4.数据处理流程

2.4.2. 血氧特征

       血氧特征使用[HbO]和[HbR]计算，x代表一个epoch(80个样本)单通道的[HbO]和[HbR]信号，计算了七个氧合测量值:峰值、均值、方差、峰度、偏度、曲线下面积(AUC)、斜率，计算公式见公式1-3，斜率使用最小二乘线性回归和polyfit函数计算。 

2.4.3.连接度特征    

      连接度特征同样使用[HbO]和[HbR]计算，x和y分别代表来自两个不同通道的信号，计算五个氧合测量值(协方差、皮尔逊相关、斯皮尔曼相关、相干和小波相干)，计算公式见公式4-8。

      协方差(公式4)中E代表期望，表示两个信号是否同时变化。当信号与平均值之间的差异同正或同负时，协方差为正，相反情况下趋于负。

      皮尔逊相关系数(公式5)是两个信号通过标准偏差(std)的乘积归一化后的协方差，表示两个信号之间的线性相关度，值范围从-1到+1分别表示线性负相关和正相关，0表示完全没有相关性。

      斯皮尔曼相关(公式6)是秩变量之间的皮尔逊相关，rgx和rgy是x和y的秩变量，使用秩而非值可以描述信号间的单调非线性关系。

       频谱相干Cxy(f)(公式7)，或称幅度平方相干，定义为频率f下两个信号(x和y)交叉谱密度的绝对平方，通过自体光谱密度的乘积正态化。Gxy(f)表示频率f的互谱密度，Gxx(f)和Gyy(f)分别是x和y的自谱密度。频谱相干可以看作是频阈的相关。

       小波相干功率R2n(s)(公式8)，Wx(s)、Wy(s)为x、y在尺度s时间n时的小波变换，Wxy(s)是x和y的交叉小波变换，S是一个平滑算子。小波相干可以看作是时频空间的局部相关系数，相干值范围从0到1，1表示两个信号在给定频率下存在完美的锁相振荡。

       连接度特征在每个通道每个epoch计算，即Cnk为861对(k=2，n=42)。我们对每个氧合特征进行42次计算，对每位受试的每个连接特征进行了861次计算。

2.5.数据分类

2.5.1.特征提取    

       为减少数据量和维度，42个通道合并成6个兴趣区(ROI)：左额叶、右额叶、额叶中部、左枕叶、右枕叶、枕叶中部。

        氧合特征为6个ROI中包含通道的所有特征的平均。连接度特征为6个ROI中15个可能的连接，首先评估每对(861通道)的值，然后在连接相同区域的通道对间取平均值。我们保留了一个ROI中包含的几个通道，因此得到15+6=21个连接度测量。我们对每个氧合特征进行6次测量，对每位受试每个epoch的每个连接度特征进行21次测量。对幅度平方相干和小波相干，基于Cui等人的fNIRS研究将频段设置为0.3125Hz到0.08Hz(3.2s-12.8s)。所有特征计算z分数正态化。

2.5.2.分类与交叉验证    

       使用“收缩方法”(shrinkage method)，即经验协方差矩阵使用收缩(shrinkage)的方法正则化(regularization)后进行线性判别分析 (LDA)。该方法已证明在BCI、被动BCI(pBCI)、fNIRS的应用上很稳定。   

       分类范式为被试内二元分类，每个受试执行8次任务(2种条件各4次)。每次着陆任务有12个epoch，每个受试提供12×8=96个epoch。使用分层交叉验证评估模型预测性能。训练样本选自6个不同着陆任务的epoch(每个条件3个，2*3*12=72个)，预测最后2个着陆任务的epoch(每个条件1个，即2*1*12=24个)。特征比较分为:(1)单个特征比较；(2)组合特征特比较，2个特征一组。

2.5.3.统计评估    

       受试者在两种条件下的主观平均总体工作量进行配对样本t检验。

       分类误差用二项式累积分布建模，见公式9。其中P是预测正确类别至少Z次的概率，n是样本数，c是类别数。重复分层交叉验证16次，取均值评估分类表现。训练样本72个，测试样本24个，使用累积二项分布，将5%显著性分类阈值设置为精度58.3%。

       使用重复测量ANOVA比较每个特征的分类表现，用事后HSD(Tukey’s Honestly Significant Difference)进行多重比较。   

3.结果    

3.1.主观工作量    

     手动着陆条(M=66.6±9)的工作量的评分明显高于自动着陆条件(M=18.7±7; t(11)=-17.43, p<10-8)。   

3.2.单个特征的分类表现    

       如图5，HbR和HbO信号的每个特征的分类性能，统计分析表明，特征类型对分类性能有显著影响 [F(11,121)=5.66, p<10-3]，所用发色团也有显著影响 [F(1,11)=8.73, p<0.05]。事后比较发现HbO的特征间的显著差异，特别是小波相干的性能明显优于均值、偏度、峰度和斜率，每种连接度的表现都显著高于偏度。HbR的特征中，小波相干和协方差的表现明显优于峰度，连接度特征间没有发现显著差异。无论使用哪种特征，事后比较显示发色团对分类表现没有显著影响。

图5.单个特征的分类性能(被试间均值)。蓝、红色条表示分别[HbR]、[HbO]信号中提取的特征，误差线代表95%的置信区间，黑线表示对与研究问题最相关的显著影响(***p<0.05)。

      此外，HbO信号的每个连接度特征的平均分类表现都高于机会水平(>58.3%)。皮尔逊相关、斯皮尔曼相关、小波相干的分类性能超过HbO和HbR的机会水平。经典血氧特征方面，只有HbO的曲线下面积、方差高于机会水平(58.3%)。   

      小波相干是表现最好的特征，HbO和HbR的正确率均值分别为65.34%和59.94%。第二是协方差(HbO和HbR为62.93和56.03%)，第三是曲线下面积(HbO和HbR为61.76和57.83%)。   

3.3.特征组合的分类表现    

    如图6、7，特征组合 [F(30, 330)=5.42, p<10-3] 而非发色团 [F(1, 11)=2.47, p=0.14] 对分类表现有显著影响。   

      HbO多重比较显示，7个表现最好的连接度组合的分类表现明显优于7个表现最差的氧合特征组合。此外，连接度组合间没有表现显著差异。   

      氧合特征中，如图7，21个特征组合中有9个的分类表现高于机会水平。AUC-峰值的分类表现分别为61.2%和56.7%(HbO和HbR)。9个表现好的特征组合中有5个包含AUC。连接度特征中，除了HbR的方差-相干组合之外，每个连接度组合的表现都高于机会水平。表现最好的组合(方差-小波相干)的正确率为66.4%和59.8%(HbO和HbR)。每个被试的每个特征组合的分类结果见表1、2。

图6.氧合特征组合的分类性能(被试间均值)。蓝、红条表示[HbR]、[HbO]信号中提取的特征，误差线代表95%的置信区间。

图7.连接度特征组合的分类性能(被试间均值)。蓝、红条表示[HbR]、[HbO]信号中提取的特征，误差线代表95%的置信区间。

表1.分类表现低于机会水平58.3%的特征组合(HbO/HbR)。12名被试，结果就近取整，按平均分类表现从低到高排序。[Ave均值、Pea峰值、Var方差、Skew偏度、Kurt斜率、AUC曲线下面积，Cov协方差、Pear皮尔逊相关、Spear斯皮尔曼相关、Coh相干、WTC小波相干]

表2.分类表现高于机会水平58.3%的特征组合(HbO/HbR)。12名被试，结果就近取整，按平均分类表现从低到高排序。[Ave均值、Pea峰值、Var方差、Skew偏度、Kurt斜率、AUC曲线下面积，Cov协方差、Pear皮尔逊相关、Spear斯皮尔曼相关、Coh相干、WTC小波相干]

4.讨论

      研究的主观测量证实了手动和自动驾驶着陆的差异，手动着陆的主观NASA-TLX得分明显高于自动着陆。总体分类结果证实，fNIRS可以在飞行模拟器中区分两种不同的着陆执行模式。先前神经人体工程学研究也表明fNIRS非常适合生态环境下的精神状态监测。   

       最佳分类准确率达到了66.9%，这一结果与最近研究相比并不逊色。Hong等人10名被试、心理运动意象和心算范式的均值、斜率特征分类表现为75.6%；Holper和Wolf的12受试、复杂/简单想象运动范式，结合在HbO和HbR上计算的分类表现达81.3%；Naseer等人7被试、心算与休息分类准确率为93%。这些研究为事件锁定评估的，与本研究飞行任务(特定认知活动的连续评估)不同，涉及不同的执行和注意力功能。而与我们的结果相反，Khan和Hong的一项研究表明，当在生态环境下(如模拟驾驶)连续监测困倦度时，经典氧合指标准确率高达84.9%。由于目标状态的不同，研究间的比较仍相当困难。另外，有限的trail数也不允许我们优化模型的训练来保证高分类准确率。

       有趣的是，与经典氧合特征相比，连接度特征显示出更好的分类表现。这有两个可能原因:

       (1)任务相关的血氧浓度是面对事件锁时(time-locked)的。

       有人提出，与整体大脑能量消耗相比，这些与任务相关的反应会导致神经能量消耗小幅增加(<5%)。因此，只关注局部血流动力学反应可能导致大脑的大部分活动被忽略。目前已公认，认知依赖于几个分布式脑区的激活，而非单个专用的处理单元。因此，分析神经网络间相互作用能提供更多大脑动力学信息，特别是在涉及复杂现实生活任务的理解时。

      (2)相关研究表明，自发LFO(约 0.1 Hz)间的频率/幅度相关性与皮层活动密切相关。

       在连续监测大脑活动时，如果没有预期特定事件，频率/幅度耦合的连接特征可以深入了解正在进行的认知过程。

       连接度特征分类结果，协方差、相关、小波相干的分类准确度显著高于对应的3、2、4个经典氧合特征，前者呈现出互补的优势。一方面，相关和协方差实现了直接、低成本的计算，这在pBCI方向非常有利。另一方面，小波相干考虑了时间和锁相振荡，虽然EEG已经应用小波相干几年，但fNIRS最近才将其应用于分类。不过，基于小波相干的pBCI的实现仍具有挑战，因为其需要大量的小波卷积，且计算成本对于在线范式过高。克服该问题的一种可能方案是降维。综上所述，我们的研究结果为fNIRS的BCI指标选择提供了指导。本研究对不同fNIRS连接度指标进行基准测试并将其用于生态环境进行分类，据我们所知，这项研究在领域内非常罕见，是生态航空环境的在线心理状态估计的探索。

本研究的局限性: 

      (1)只包含12名受试，每个受试只有4次trial。trial数量有限是妥协于被试长时间佩戴近红外帽(约40分钟)会感到疲劳和不适。

      (2)对比手动和自动驾驶情况时可能存在运动反应等潜在混淆因素。不过，我们没有观察运动区，因此该风险很低。目标为现实飞行条件时飞行员大脑活动的监测时，在飞行环境中设计对比鲜明且可控的条件仍具有挑战性。

       (3)fNIRS信号分析的限制。fNIRS信号是皮肤血流影响的全局和局部神经元分量的结果。如果不在每个时期分别进行分析，一些空间滤波、主成分分析的算法可以有效滤波。fNIRS信号还可能受到其他生理活动如心跳、呼吸、血压变化的影响，记录这些活动来评估它们对数据分析的影响会很有趣。尽管我们的分类表现令人满意，但无法对潜在神经生理过程作出任何断言。

       (4)分类表现需要在实施于驾驶舱之前进行改进，因为结果显示的假阴率使其无法适用这个关键系统。 提高分类表现的一个可能方法是应用多模态EEG-fNIRS于pBCI。