飞行中使用脑电图和认知检测网络的脑-机接口

0_摘要：

本文介绍了一种新的航空脑机接口，包括彩色脑电图和认知检测网络的构建。开发的网络Bpmnet可以有效地检测大脑的认知状态。为了提高模型参数优化算法的有效性，在贝叶斯后验参数推理过程中提出动量和批量归一化。Bpmnet降低了模型过度拟合的风险，增加了异常值预测的不确定性。实验结果表明，我们的方法明显优于最先进的技术。

1_引言：

A. 动机

驾驶疲劳导致飞行事故，并造成广泛的社会影响。到目前为止，还没有成熟的技术用于航空疲劳检测，这也是发展大型飞机业务必须克服的难题之一。当飞行员控制飞行时，他/她的大脑区域会发生以下变化。

1)起飞和下降过程中，飞行员的视觉受到强烈的刺激，对应的大脑功能区域为枕叶。

2)飞行员在复杂飞行环境中，屏幕信息提示更加频繁，大脑需要快速推理、决策，生成飞行控制指令。这时，额叶起着重要作用。

3)当飞行器处于超加速飞行状态时，飞行员手持推拉杆，感知自己在空间中的位置。这时，顶叶起着主要作用。

4)飞行过程中，屏幕显示系统推送语音信息，飞行员收到语音提示，大脑进行短期记忆和处理。这时，颞叶起着主要作用。

因此，额叶、前额叶、颞叶、枕叶、顶叶参与了飞行控制过程，以及它们的融合作用。基于这个动机，本文开发了一个覆盖所有电极的大脑认知地图，可以代表飞行员大脑在某一时刻的认知状态。

B. 所提出的模型

脑机接口已经取得了重要成果[29]，[30]。特别是在航空领域，脑机接口得到了重视和发展，[31]，[32]。一般情况下，脑电图信号能够反映大脑不同区域的认知状态。通过在不同的脑区放置脑电图电极，可以获得三维大脑拓扑结构。通过将脑电信号的时空信息映射到一个平面上，可以构建大脑认知地图，即BPM，并作为深度学习模型的输入。

BPM包含大脑的认知状态信息。为了推断大脑潜在的认知状态，本文提出了一种基于贝叶斯推理的深度学习方法，该方法使用贝叶斯方法来推断CNN的后参数。尽管深度卷积网络算法在图像分类方面取得了优异的成绩，但其可解释性仍不强。在一些似是而非的样本中，仍然很难得到准确的预测。贝叶斯方法可以弥补上述不足。贝叶斯后验分布是样本的概率分布。利用概率来表示CNN的参数可以降低模型的风险。

然而，深度贝叶斯学习的主要缺点是计算资源有限。贝叶斯后验分布中分母积分项的计算量很复杂，这是深度学习模型无法承受的。针对这一问题，本文提出利用自然梯度变分推理方法对CNN进行参数优化。它只需要较少的计算就可以推断出网络的近似后验分布。然而，它仍然保留了贝叶斯方法的一些优点，可以降低模型过度拟合的风险，增加异常预测的不确定性。

本文的主要贡献可以总结如下。

1)本文开发了大脑疲劳认知图。通过提出的疲劳指标，利用等距离方位投影形成大脑认知地图。开发的BPM不仅保留了三维电极位置信息，还代表了认知状态。

2)本文建立了一个深度贝叶斯卷积网络模型，即Bpmnet，该模型使用卷积运算来处理大脑认知地图的特殊特征学习问题，并使用贝叶斯变分方法来推断所开发模型的参数。模型的鲁棒性和过度拟合也得到了显著改善。

3)本文设计了一种贝叶斯变分优化方法，即OGNV，用于学习Bpmnet网络的参数。贝叶斯方法给出了Bpmnet网络参数的多元分布，然后通过样本数据和多元数据推断出网络参数的后验分布高斯概率函数。结果还表明，贝叶斯方法可以提高神经网络模型的泛化能力。

本文的其余部分组织如下。第二节介绍相关工作。第三部分开发了大脑认知地图。第四节提出了一个Bpmnet模型，第五节讨论了实验结果。最后，第六节对本文进行总结。

2_相关研究工作

1. 大脑疲劳的认知

在这个频率范围内，可分为4个频带。6波在0- 4hz范围内，9波在4- 7hz范围内，称为慢波。a波在8- 13hz范围内，B波在14- 30hz范围内，称为快波。在不同的认知状态下，这四种波形具有不同的性能。因此，脑电信号的变化趋势可以作为判断飞行员疲劳状态的重要依据。常用的评价方法有相关性分析、峰值检测、波形参数分析等。从生理学角度看，疲劳状态下δ、θ、α、B波节律发生变化时，相应的能量和熵也随之发生变化。因此，这些特征被用作疲劳判断的依据。

Jap等[1]利用6、9、a、B来确定驾驶员在驾驶过程中的疲劳状态。

Siemiono et al.[2]通过9的变化判断实验者是疲劳还是不疲劳。

Wu et al.[37]使用9波段的功率谱密度(power spectral density, PSD)来估计连续驾驶人的疲劳水平，即他们认为这是一个回归问题，而不是分类问题。他们还提出了一种新的迁移学习算法，以显著减少受试者特定校准数据的数量。

吴et al。[38]还将基于模糊集的公共空间滤波应用于脑电信号，提取出9个和一个功率波段特征，用于估计用户反应时间。

Papadelis et al.[3]发现在一次疲劳引起的驾驶事故发生前，驾驶员的驾驶效率显著提高，Shannon熵和KL熵显著降低。

上述研究结果表明，一维脑电信号能够反映人的疲劳状态。然而，人类的认知行为是由多个电极的脑电图信号合成而成的。为了表达这些脑电信号特征的空间分布，我们将所有三维电极的位置投影到二维平面上，形成大脑认知图像。投影的方式有很多种，包括正投影和等距方位投影[4]和[5]。等距方位投影可以保持电极在二维平面上的三维拓扑位置。因此，可以使用它生成BPM。

B.深度学习模型

脑电信号特征提取方法往往依赖于研究者的经验。由于脑电信号的复杂性，其潜在特征难以发现。近年来，深度学习技术的发展提供了新的这些问题的潜在解决方案[6]-[8]。目前，深度网络已用于脑电信号的特征提取，包括DBN[9]、AE[10]、CNN[11]等。

与传统的特征提取方法相比，深度学习方法往往可以获得更高的分类精度[41]，[42]。Zhen和Lu[9]利用深度信念网络构建了基于脑电信号的情感分类系统，识别准确率达到86.08%。与支持向量机、逻辑回归和k近邻(kNN)等典型机器学习方法相比，该方法提高了识别精度。Liet al.[10]使用去噪自编码器网络提取EEG信号特征。他们的结果表明，不完整的脑电图信号可以获得更多有用的信息。Cecotti和Graeser[11]对EEG信号进行傅里叶变换，利用四层CNN提取特征，实现了更高的识别精度。Cui等人在特征加权的情景训练中使用了多层感知器网络，完全消除了基于脑电图的驾驶员睡气估计的校准要求，并证明了比传统方法(如kNN和岭回归)更好的准确性。

Alhussein等[12]利用CNN处理脑电图信号相关病理，识别准确率达87.96%。Song et al.[13]采用深度多任务学习方法对脑电信号进行处理。他们的识别准确率提高了3%。采用深度自编码器提取驾驶员脑电信号特征，检测疲劳状态，结果表明，该方法获得了较高的分类精度[14]。在[15]系统中，使用DBN对视觉脑电图信号进行处理。与传统的支持向量机方法相比。DBN的识别准确率提高了10%。提出了一种基于脑电信号[16]的三层RBM算法。他们也获得了很高的识别性能。

变分推理已被用于贝叶斯深度学习方法。为了获得更好的结果，贝叶斯变分推理方法需要在特定的任务上进行微调［17］． 变分推理方法采用了数据增广法和BN法，但BN后不稳定。为了解决这一问题，在[19]中提出了一种在线牛顿方法，该方法可以解决算法的不稳定性问题。受此启发，我们提出了OGNV。

对于已开发的Bpmnet模型，我们提出了一种OGNV方法来推断其后验参数。对于大脑认知地图的检测，该方法不仅能考虑全局信息，而且能提高模型的鲁棒性，降低过拟合的风险。此外，Bpmnet的实现只需要有限的时间和计算资源。

3_脑电地图

1. 疲劳指标

PSD曲线可以反映信号的能量。脑电图信号及其四个节律的PSD曲线如图A所示。原始信号在较大的频率范围内具有功率密度分布，四个节奏6、9、a、B的功率集中在相应的频率范围内而“干净”的脑电信号经过滤波重组后的功率也分布在低频带。图中为几种工况下某一节奏的PSD曲线。每个节奏的功率可以用功率密度的面积来表示，即功率密度在相应频带内的面积曲线

其中ps(f)为PSD的函数，f为频率。Py表示x节律的功率谱区域。以下节律符号均表示功率谱曲线的面积，如(1)所示。

现有研究表明，疲劳时慢波增大，快波减小。&和e的幂增大，a和B的幂减小[35]，[36]。节律与人类疲劳之间的关系在[1]，[21]和[22]中有报道。研究成果表明，尤其是节律功率比可以作为大脑疲劳状态的定量指标。典型的认知指标如下:(α+ 0)/βα/β(α+θ)/(α+β)和0 /β。Supplementary file中的图B显示了飞行员在两种不同状态下的趋势:非疲劳状态和疲劳状态。图中与横轴平行的线表示对应指标的平均值。与非疲劳状态相比，疲劳状态下上述4项指标均有增加趋势。而(α + θ)/β、(α + θ)/(α + β)和θ/β的增加趋势更为明显。因此，这三个指标对疲劳状态更为敏感。这三个可以作为判断疲劳的标准。

1. 脑电功率谱

脑电采集设备的电极分布在三维球面空间。为了显示各电极位置的特征，本文采用等距方位投影[4]、[5]将三维电极位置映射到二维平面上，然后构建反映疲劳认知状态的BPM。大脑疲劳状态与三个认知指标密切相关。经过一些预处理，可以将这三个转化为一幅图像中的像素点，如图1所示。对应的转换过程如下:

1)采用等距方位投影法将64个电极位置投影到二维平面上。

2)根据事件触发时间,每个电极EEG信号分为n段,每个段的功率谱和相应的三个指标计算:(α1θ)/β(α1θ)/(α+β)和θ/β,这三个指标的平均功率谱作为像素值相应的电极。

3) 64个电极位置被映射到一个32 x 32的图像。这三个指标分别作为RGB的三个通道。用它们的平均功率谱值作为对应的像素值电沉积。对图像上的非电极区域进行双线性插值，得到其像素值。最后，可以生成一个智力地图。

4_深度贝叶斯网络

1. 贝叶斯参数优化

成功的深度网络离不开可扩展的网络训练方法。网络训练方法可以归结为最小化网络输出与实际输出之间的损耗函数。例如,在一个数据集D,有N个输入ti,相应的输出,和输出维度是k .在这种情况下,损失函数被定义为(w) +δwT w (w): = NDie(咦,弗兰克-威廉姆斯(,)),弗兰克-威廉姆斯(ci) e RK代表款的输出结果,体重是w . l(咦,f)表示实际输出y与网络1之间的差值f. w " w表示L2正则化& > 0。飞行员疲劳检测是一种多分类方法。可分为非疲劳状态、轻度疲劳状态、中度疲劳状态和极端疲劳状态。对于多分类问题，实验一般采用一热编码。然而, 疲劳检测不是一个普通的图像分类问题。它类似于回归问题。单一热点编码很难将不同类别之间的相关性结合起来。因此，遇到了标签增强问题。标签之间的平滑过渡是一种重要的标签增强方法。它可以充分利用相邻标签类别之间的模糊边界。因此，在(2)中设计了标签间具有平滑约束的交叉熵损失函数作为所开发的CNN的代价函数

式中yic fwc(ci)为y的第c项;弗兰克-威廉姆斯(ai)。E为不同疲劳等级之间的平滑度约束参数。它代表了相邻疲劳误判的容忍度的水平。Fwo、fwl、fw2、fw3分别代表四种疲劳水平输出。

大多数深度学习方法依赖于SG算法来最小化其损失函数。常用的网络优化方法有随机梯度下降法、RMSprop[23]法和Adam优化[24]法。权重w的更新如下

(3)中使用的批处理训练可以结合一些重要的优化技术，如动量项、权值衰减、BN、数据增强等来保证其性能。相比之下，使用完整的贝叶斯优化方法将为深度学习框架带来昂贵的计算成本。例如，贝叶斯方法可以用来计算p(wD) exp(-NE))p(w)的后验分布，其中0 <T < 1。这导致了一个高comP（D由于存在高维积分运算，边际似然函数(D)的计算代价。在大规模的网络中，这种高维集成带来的计算是无法接受的。变分推理是后验概率p(w |d)的一种可扩展的近似计算方法。对于高斯分布q(w):= N(wlμ， Σ)，其均值为u，其协方差为E

更复杂的近似方法可以进一步减小[33]、[34]的误差，但会增加模型的运行成本。鉴于此，贝叶斯推理可以被视为一个函数逼近问题。变分推理作为一种贝叶斯优化器，在深度网络中是可行的。

尽管如此，对于大数据集和深度网络的变分推理方法仍然存在许多困难。Graves[25]和Charles等人[17]在变分推理过程中直接使用正则SG方法对ELBO进行优化。他们的方法在处理大规模问题时收敛缓慢。但是，他们的工作还有改进的余地。可以加入一些技术来提高深度学习的优化性能。本文采用自然梯度变分推理方法对Bpmnet模型进行优化。

这种自然梯度法在处理指数族函数的逼近时是比较简单的。对于p(w): = N(w|o, I/6)，在期望正则化损失下，自然梯度参数l的更新为:

在梯度评估。当参数r设置为O时，为了最小化正则化损失[19]，必须使用更新规则。自然梯度更新的这些优点使得深度模型参数优化更加方便。

一些成果[18]，[19]表明当q服从高斯分布时(5)与(3)高度相似。在OGNV中，高斯后验的均值p和协方差E的更新规则设计为

1. Bpmnet

深度网络的构建需要与实际问题相一致，才能揭示实际问题的运行机制。使用Lenet网络处理手写数字识别，使用Alexnet网络处理Cifaar10的分类问题。这篇文章需要用一个成熟的大脑认知地图来检测大脑疲劳。为了解决这一需求，设计了用于疲劳检测的Bpmnet，如图2所示。其结构如下。

1)网络结构的前五层均具有RELU激活功能。

2)第1、4、5层的激活函数在该层的末端，第2、3层的激活函数在最大池化之前。

3)网络层数的选择和各层参数的选择根据每次的实际结果和手工经验进行协调。

与Lenet和Alexnet网络相比，Bpmnet有一定的性能改进。表I给出了更多关于Bpmnet的细节。

在Bpmnet网络结构中应用了如下几种数据处理和训练技术。

1)在训练图像数据时，数据增强可以大大提高网络性能。在深度学习中，数据增强相当于增加训练数据的数量。可以有效缓解数据量不足的影响。在这里，我们采用了随机裁剪和水平翻转来实现数据增强。在随机选择一批数据一起训练后，我们对每一批使用相同的随机种植方法。每个数据水平翻转的概率是1 / 2。

2) bn[26]广泛应用于深度学习。将BN层夹在两个神经网络层之间，以稳定每个神经网络层的输入数据分布。在OGNV中，本文直接将BN层插入Bpmnet网络，并使用默认的超参数设置。但是，BN层过多会导致性能不稳定，网络难以收敛到固定的精度。因此，在本实验中，为了稳定后一层输入的数据分布，在第二层和第三层的卷积运算之后进行BN运算。

3)在深度学习[27]中，动量可以提高随机梯度方法的收敛性。OGNV与Adam类似，动量技能也可以用于OGNV。如算法1的步骤17所示，β为动量速率。均值p的初始化类似于Adam中的w。动量m的设定也与亚当的相似。OGNV需要另外设置方差o2。我们首先对第一批进行正向计算以获得它的规模，然后用它来初始化方差o?，即o+ 0N(什么)1T从一个很小的值(如0.1)逐渐增加到1。后续实验结果表明，OVGN中的动量可以显著提高检测精度。

4)辍学可降低神经元间复杂的协同适应关系。因为dropout程序导致两个神经元不一定每次都出现在dropout网络中。这样，权值的更新就不再依赖于关系固定的隐式节点的关节动作，从而使某些特征只能在其他特定特征下才有效。这种机制迫使网络学习更健壮的特征，这些特征也存在于其他神经元的随机子集中。一般来说，dropout有点像Li和L2的规律性，也就是说，减轻体重会使神经网络在特定神经元连接缺失时更加稳健。

5)学习速率计划[28]对快速提高验证集的准确性起到了很大的作用。学习速率a通常由一个因子衰减。衰减的频率和时间需要提前指定。OVGN利用它自适应地调整Bpmnet的学习速率。

5_实验

原始实验数据来自图3中C919飞行模拟器。C919客机是我国首架完全按照国际先进适航标准研制的单通道大型干线客机。最大航程超过5500公里，性能堪比世界上新一代主流单通道客机。因为便携式脑电图正常采办设备，对飞行员来说很不方便。因此，需要将EEG采集装置嵌入飞行员头盔[40]中。研制的脑电采集设备的关键参数如下:采样率:500 SPS;带宽:0 ~ 125hz (DC耦合);测量噪声:有效值<1 μV。共有40名参与者(年龄:39.06 +7.75岁;脑电采集设备电极放置采用国际10-20系统，如图4所示。电极位置与脑区关系见表二。奇数表示左半球，偶数表示右半球。脑电信号的采样频率为160hz。设计的带通滤波器可以进行提取四(δ节奏,θα和β)。

在模拟驾驶舱内，飞行员模拟了从哈尔滨到重庆的单线航线。整个飞行时间为4小时。采集的脑电图信号如下:飞行前半小时内，飞行员的工作负荷相当小，这一阶段记录为状态1;飞行开始后，进行1.5小时的光压模拟试飞。同时记录相应的脑电图信号。这个阶段被记录为状态2;飞行员在轻微气流干扰下进行了1.5小时的中压模拟试飞。这个阶段被记录为状态3;进行了半小时的高负荷起飞和降落实验。在这个阶段，飞行员需要花费更多的精力来处理飞行紧急情况，并且感到非常疲劳。这个阶段被记录为状态4。在每个阶段，飞行员还需要填写NASA-TLX和卡罗林斯卡睡意量表。可以记录飞行员的身体状态，与相应时间内的脑电图信号进行比较。飞行员的大脑疲劳有四种类型。实验的目的是通过Bpmnet准确识别飞行员的疲劳状态。实验数据总量为5000，训练集数据为4000，验证集数据为1000。下面两个示例用于说明我们提出的BPM和Bpmnet +OVGN算法的有效性。

Example 1: Effectiveness of BPM

本例分别给出了原始信号、个体节律、认知指标和bpm的检测精度，如表三所示。所有的精度都是最近十次迭代的平均值。在训练集中，BPM提供的准确率略低于Beta，但在测试集中，BPM提供的准确率最高。通过衡量这些认知指标在训练集和验证集中的准确性，可以得出BPM具有最好的认知表达能力。

例2:Bpmnet + OVGN的有效性

首先，我们使用OGNV对开发的Bpmnet模型的参数进行优化，如图5所示。可以看出，我们的优化方法经过十次迭代后，检测精度相对稳定，但精度有限。其次，使用BN+OGNV，提高了检测精度。我们在OGNV +BN中加入动量项，结果表明，精度有了很大的提高。实验表明，BN和动量技术可以提高贝叶斯深度网络的性能，动量处理方法的性能是明显的。因此，后续实验均采用BN和动量技术。

选择了两种规则的深度神经网络，如Lenet和Alexnet架构。传统的贝叶斯推理方法，Adam，证明了OGNV的有效性。

图6显示了训练集和验证集的准确性如何随着迭代次数的变化而变化。在图6中，第一行是Lenet结构，第二行是Alexnet结构，第三行是Bpmnet结构。Lenet网络的性能稍微落后于Alexnet网络。这是因为Lenet结构比Alexnet结构更简单，后者有三个卷积层。但相对而言，Lenet网络的过拟合风险较低。当Bpmnet网络结构采用Adam参数优化方法时，其检测性能介于Lenet和Alexnet之间。当采用OGNV方法时，Bpmnet网络的检测性能最好。但OGNV在训练集上的准确性较低，即过拟合的风险较低。

总之，通过选择适当的迭代次数，OGNV可以达到或超过验证集中Adam的准确性。更重要的是，OGNV的过拟合风险显著降低。

从表4和图6可以看出，OGNV在训练集上取得了与Adam相似甚至更好的性能，同时显著降低了过拟合的风险。此外，表四定量地展示了Bpmnet的优势网络疲劳检测。但是，它的时间消耗仍然高于传统的Adam方法。幸运的是，对于离线分析任务，时间消耗是可以接受的。检测准确率达到90%以上。通过与[9]、[12]等相似成果的比较，我们的实验结果将分类准确率提高了3% ~ 5%。

6_总结

本文提供了一种有效的航空脑机接口方法。它主要由两部分组成，一是大脑认知地图的生成，二是认知网络的建立。我们的方法的优点可以进一步总结如下。

1)得到彩色大脑认知地图，充分反映当前任务下飞行员在每个时间窗口的认知状态。然后，将飞行员在不同任务中的认知状态以图像帧的形式表达出来。

2)提出了一种脑认知检测网络Bpmnet及其贝叶斯参数优化方法来检测Pilot的认知状态。这种认知检测该模型充分考虑了脑功率图的特点，具有良好的检测性能。

3)作为参数推理工具，开发了贝叶斯OGNV方法，以减少Bpmnet网络的过拟合。此外，采用了更多的优化技术。结果表明，OGNV+ BN+动量参数优化方法可以使Bpmnet获得最佳的检测精度。

我们的后续研究将集中在贝叶斯网络的优化，其超参数的调整机制，以及贝叶斯准则的更潜在的应用。

启发：

这篇文章的主要贡献在于提出了脑电功率图（BPM，图1）和一个新的分类神经网络Bpmnet，BPM图是将传统的4中不同脑电频率能量的空间分布考虑了进来，将4中不同频段的脑电成分能量在空间的分布映射到一个RGB图中，从结果可以看出提高了识别正确率，但是没有提高太多（图2）。他们所提出的神经网络模型Bpmnet，主要也是为了提升训练速度和识别正确率。其实我们主要关注的还是疲劳状态的划分，在这篇文章中，他们所采用的疲劳状态划分主要是被试进行的任务，飞行任务前半个小时为状态1，轻负荷飞行1.5h为状态2，中负荷（加了气流扰动）飞行1.5小时为状态3，重负荷（起飞降落）飞行1h为状态4。不同状态的飞行中改变的不仅仅有疲劳程度，还有飞行操作也不同，头部运动也不同，虽然他们每个任务后都进行了负荷量表和疲劳量表问卷，但是作为疲劳状态划分标准不是很客观。我们的研究目的在于识别出一个任务中的疲劳状态，而不是不同任务状态下的脑电状态。