【深度学习】多模态生理数据评估飞行员状态文章

最近在研究多模态生理信号做特殊人群人员状态分类文章，偶然读到这篇关于基于多模态生理数据利用深度学习对飞行员多样化心理状态进行评估的模型介绍。遂翻译与大家一并分享。这是读的第二篇韩国文章的，搞不清为什么。
附上原文链接：Classification of pilots’ mental states using a multimodal deep learning network

有下载比较麻烦的，我这CSDN上传了一份原文【Classification of pilots’ mental states using a multimodal deep learning network】

摘要

使用多模态深度学习网络对飞行员的心理状态进行分类检测飞行员多样化心理状态的自动化系统是一项极其重要和必不可少的技术，它可以防止飞行员认知状态降低导致的灾难性事故。各种类型的生物信号被用于开发该系统，因为它们伴随着与精神状态转变相对应的神经生理变化。在这项研究中，我们旨在研究基于多模态生物信号(即脑电图、心电图、呼吸和皮电活动)和多模态深度学习(MDL)网络的飞行员精神状态(即分心、工作负荷、疲劳和正常)的鲁棒检测系统的可行性。为此，我们首先利用飞行模拟器构建实验环境，以诱导不同的心理状态并收集生物信号。其次，我们设计了由卷积神经网络和长短期记忆模型组成的MDL架构，以有效地组合不同生物信号的信息。实验结果表明，利用多模态生物信号和所提出的MDL可以显著提高飞行员心理状态的检测精度。

1. 介绍

许多研究表明，飞行员的认知能力会影响飞行安全，因为飞机控制需要很高的认知技能。事实上，超过70%的航空事故是由人为失误造成的，而人为失误直接归因于认知能力的失败。认知能力下降可能发生在各种精神状态下，如分心、工作负荷和疲劳。分心是转移注意力的过程，它阻碍或减少了期望信息的接收。当飞行员将注意力从主要飞行任务上转移开时，就会出现这种状态。工作负荷是指完成给定任务所需花费的认知和心理。这种状态通常是由过多的飞行任务引起的。疲劳被定义为一种无聊的感觉，不愿意进行一项任务，并可能导致工作效率降低和事故发生的可能性增加。这种状态可能发生在长时间的单调飞行之后。
为了预防认知状态降低导致的事故，基于生物信号的几种不同方法被用于探索受试者认知状态的三个主要方面，即传感器形态、心理状态的类型和数量以及机器学习方法。在传感器模态方面，已使用单传感器和多传感器来提取与受试者心理状态相关的信息。例如，脑电图(EEG)、功能性近红外光谱(fNIRS)、心电图(ECG)、肌电图(EMG)、皮电活动(EDA)和呼吸已被广泛用于检测精神状态，因为这些信号的动态与飞行员的认知状态有关。
基于单一传感器的系统可以为用户提供舒适的界面，而多传感器可以通过组合各种不同的模式来增强系统的性能。值得注意的是，与其他传感器相比，EEG似乎提供了最准确的信息来分类精神状态。它是分析精神状态最重要的生理信号，因为它直接反映了大脑皮层的活动。此外，与其他脑监测方法相比，脑电图更具有通用性、易于设置、舒适、无创、安全等特点。因此，脑电图除了对精神状态进行分类外，还在各个领域进行了研究。尽管脑电图具有诸多优点，但其显著的局限性在于其信噪比，因为多种噪声容易由生物或环境源引起;事实上，脑电图中的主要伪影是由眨眼、肌肉收缩和电子设备引起的。此外，脑电图的某些特征可能因受试者而异。为了弥补脑电图的不足，各种研究人员采用多模态方法，将脑电图与ECG、呼吸、EDA等非脑测量(即外周生理测量(PPMs))相结合进行精神状态评估。例如，脑电图和心电图相结合的特征对工作负荷分类的准确率高于单独脑电图。此外，EEG、fNIRS和生理测量(ECG和呼吸)比基于EEG的分类提供更好的结果。
不同类型的精神状态，如分心、工作负荷、疲劳、困倦和压力被选择来开发这个系统。然而，大多数研究的目的是将每个状态与正常状态(即两类问题)区分开来，或者将单个状态在单个状态下划分为三个或四个级别。据我们所知，目前还没有人试图仅使用生物信号来同时识别各种心理状态(即多类分类)。从机器学习方法的角度来看，EEG的研究采用了多种分类方法，包括传统的机器学习技术(如线性判别分析(LDA)、支持向量机(SVM)等)和深度学习技术(如卷积神经网络(CNN)、循环3DCNN、自动编码器等)。然而，以前的多模态研究只使用了传统的机器学习技术(详见第2节)。
在这里，我们的研究旨在探讨利用多模态生物信号(即EEG, ECG，呼吸和EDA)和多模态深度学习(MDL)高效和鲁棒地检测飞行员各种心理状态的可行性。MDL的优点是可以自动学习每个模态的分层表示。
因此，这项工作的主要贡献有三个方面:首先，我们使用飞行模拟器建立了一个实验环境，使我们能够诱导飞行员的四种心理状态并收集多模态生物信号。其次，我们从8名有飞行经验的飞行员那里获得了多模式数据。最后，我们设计了由CNN和LSTM模型组成的MDL架构，以便有效地融合各种神经生理信号。我们的研究成功地表明，多种生物信号与MDL网络的结合使用可以提高飞行员心理状态的分类精度。

2. 相关工作

脑电图作为一种单一的模式，与各种机器学习方法相结合，得到了广泛的应用。如Lal等人、Jap等人、Kar等人、Trejo等人分析了驾驶员模拟器疲劳检测任务期间脑电图的统计变化。Sonnleitner等利用正则化LDA (rLDA)对EEG能否在单次试验分析中预测受试者的注意力分散进行了研究。Chaudhuri和Routray主要使用源定位方法和SVM分类器对仿真环境中的正常状态和疲劳状态进行分类。Dehais等使用基于收缩LDA (sLDA)的频率特征对心理工作负荷和正常状态进行分类。然而，这些研究使用手工制作的EEG特征来构建分类器。此外，心电图在精神状态识别方面也得到了广泛的应用。Rogado等人和Jung等人在方向盘上设计了嵌入式心电传感器，用于分析驾驶员疲劳和困倦。这些研究没有对正常状态和疲劳状态进行分类，而是对每一种状态进行统计分析。
最近，深度学习已经被利用，因为它可以在没有任何外界帮助的情况下学习分层特征。例如，Patel等人利用一组心电图数据应用神经网络来检测驾驶员的早发性疲劳。Bashivan等提出了一种深度递归卷积神经网络(deep recurrent convolutional neural network, RCNN)从多通道EEG信号中检测四种工作状态。Hajinoroozi等人提出了一种通道卷积神经网络(CCNN)和一种CCNN变体，该变体使用受限玻尔兹曼机(CCNN- r)来检测驱动器中的不良性能。Jiao等人提出了一种深度CNN方法，从脑电图数据中检测四种精神负荷水平。在此基础上，针对不同的脑电信号输入，提出了一种基于点对门控玻尔兹曼机(PGBM)的两种CNN模型融合策略。Zhang等利用递归3DCNN (R3DCNN)学习脑电图的时空-频谱特征进行跨任务心理负荷评估。Wu等提出了一种深度堆叠收缩自编码器网络(deep堆叠contractional autoencoder network, DCAEN)，从原始EEG数据中学习疲劳相关特征，从而识别飞行员的疲劳状态。Gao等人开发了一种基于脑电图的时空卷积神经网络(ESTCNN)，可以高精度地检测受试者的疲劳状态。然而，这些研究仅使用单一模态来检测认知状态。
与单传感器识别相比，使用多模态传感器是提高检测性能的有效途径。此外，生物信号模式的各种组合(如脑电图、心电图、光电容积图、脑电图、EDA、呼吸和肌电图)被用于分析疲劳状态。Hogervorst等测试了脑电图、皮肤电导、呼吸、心电图、瞳孔大小和眨眼次数的综合信息来估计脑力工作负荷。Ahn等人同时收集EEG、fNIR和ECG数据，以开发算法，使研究人员能够探索受试者疲劳状态的神经生理相关性。LDA方法的组合在区分休息良好(即正常)状态和睡眠不足(即疲劳)状态的能力方面产生了实质性的改进。Liu等人综合脑电、近红外光谱和生理测量来分类n-back工作记忆任务中的三个工作负荷水平。他们表明，这些模式的融合可以提高分类性能。Zhang等利用脑电图和心电信号验证了交互式互信息建模(IMIM)的有效性，IMIM是一种基于互信息的特征权重驱动的信号融合方法。然而，据我们所知，多模态生物信号尚未与MDL方法相结合(见表1相关工作总结)。
从这些多模态研究中，提取每个生物信号的手工特征，然后用于对心理状态进行分类。例如，在EEG信号中，通常使用特定频段的功率谱密度(PSD)特征，包括delta (1-4 Hz)、theta (4-8 Hz)、alpha (8-13 Hz)、beta (13-30 Hz)和gamma (30-40 Hz)。在心电信号中，采用时域特征(如平均心率(MHR)和正态间隔标准差(SDNN))和频域特征(如低频(LF) 0.04 ~ 0.15 Hz频率范围和高频(HF) 0.15 ~ 0.40 Hz频率范围的PSD，以及比值(LFHF))。在呼吸信号中，采用腹、胸通道振幅的标准差(分别为SDAbd和SDThor)作为时域特征。进一步，提取腹、胸通道(分别为DRFAbd和DRFThor)优势呼吸频带的PSD作为频域呼吸特征。对于EDA信号，采用EDA的平均幅度(MEDA)和幅度的标准差(SDEDA)作为时域特征。此外，从交感神经系统频带的EDA指数中提取的PSD (EDASymp)进行频域特征研究。

3. 方法

3.1. 实验

3.1.1. 实验参与者
8名健康受试者(男6名，女2名，年龄25.7 ± 2.6岁)在泰安（韩国）飞行教育中心进行了超过100小时的飞行体验。本研究经高丽大学机构审查委员会审查批准[1040548-KU-IRB-18-92-A-2]，并在实验前获得所有参与者的书面知情同意。所有受试者视力正常或矫正至正常，听力正常，无精神或神经系统疾病史。他们被要求在实验前不喝酒和喝咖啡，并睡觉(6-8小时)。他们被要求填写问卷，以记录受试者的状态和评估我们的实验范式。

3.1.2. 实验步骤

我们使用飞行模拟器系统(Cessna 172, FRASCA International, Inc.)设计了一个实验环境(见图1)。座舱由提供210度视图的宽视觉显示器、飞行轭、电气控制加载系统、其他控制面板等组成。轭上安装了一个无线键盘，用来记录飞行员的反应。我们使用EEG系统(BrainAmp, Brain Products GmbH)测量EEG信号。根据国际10-20系统，在头皮上共放置60个电极，如图2(A)所示。此外，我们使用四个电极同时获取EOG信号;在外眦放置两个电极测量水平分量，在左眼上方和下方放置两个电极测量垂直分量。参考电极放置在FCz，接地电极放置在AFz。EEG和EOG的采样频率为250Hz。外周生理测量(PPMs)(即心电图、呼吸和EDA)使用Flexcomp系统和biograph Infiniti软件(Thought Technology Ltd.)进行。将3个ECG电极按照标准的3导联配置连接在与特定肢体(如左臂(LA)、右臂(RA)、左腿(LL))相关的心脏等距胸壁上。呼吸传感器被固定在胸部和腹部周围。在左手食指和无名指处测量EDA。PPMs的采样频率为256Hz。我们基于Pytorch库，使用Python 3.7开发了所提出的方法。

3.1.3. 实验范式

我们设计了实验范式来诱导飞行员的不同认知状态，包括分心、工作负荷和疲劳(见图3)，遵循与先前研究相似的程序。在至少3.5小时的时间内收集数据。在完成每个范式后，受试者被问及完成任务的难度。如果受试者想休息，他们可以休息。每个范例的详细描述在下面的段落中提供。

分心范式:分心是由听觉提示引起的，该提示提示受试者在执行主要任务时执行空中交通管制(ATC)信息中提供的次要任务，该任务包括在预定条件下维护飞机。在模拟飞行中，受试者被要求保持3000英尺的高度和0度的航向，同时预先录制的ATC信息每隔一段时间播放一次。飞行员被要求在心里计算空管信息的字数。ATC信息根据字数分为三个级别(1级:4-9个字，2级:10-14个字，3级:15-22个字)。当需要用键盘输入数字时，一声哔哔声向飞行员发出信号(见图4)。

工作负荷范式:飞行员被指示进行单调的飞行，保持3000英尺的高度和0度的航向。根据给定任务的复杂程度，指令被分为三个级别(
第一级:以给定的速度改变高度，
第二级:改变高度、航向和速度，
第三级:以给定的倾斜角度急转弯，并以给定的航向滚出)。在完成给定的任务后，受试者被要求使用键盘标记端点。任务的成功或失败由指导员报告。完成每项任务的时间可能因水平而异(详见图5)。

疲劳范式:受试者被指示进行单调的夜间飞行，并保持3000英尺的高度和航向0度。蜂鸣声每隔1分钟出现一次，受试者必须使用键盘报告主观睡眠评分。得分值基于卡罗林斯卡嗜睡量表(KSS)。注意，KSS有一个9分制(例如，1 =极度警觉，5 =既不警觉也不困倦，9 =极度困倦，挣扎着入睡)。疲劳试验范式如图6所示。

3.2. 数据采集与预处理

3.2.1. 数据预处理

在0.1 ~ 50 Hz频段对脑电信号进行带通滤波，去除直流电压和高频伪影。我们还采用了独立分量分析(ICA)算法，从四个EOG通道中去除垂直和水平分量的眼睛相关伪影。ICA被广泛用于校准噪声源以去除伪影。对于PPM对应的信号，我们使用了50Hz的低通滤波器，并使用去趋势算法来消除线性趋势，即PPM数据的系统性增加或减少。之后，每个实验范式收集的数据被分割为5s的重叠4s(即1s滑窗)，我们基于三重交叉验证来评估性能(详见3.4节)。注意，我们完全分离了训练数据和测试数据，保留了顺序信息，这意味着训练数据和测试数据之间没有任何重叠的数据。在本研究中，我们获得了分心范式中每个次要任务对相应响应的分心数据(图4红框)。我们分析了工作负荷范式中每个任务的每个任务执行的工作负荷数据(图5红框)。我们获得了疲劳范式休息期间的疲劳数据(图6红框);这里我们选取主观评价得分大于等于6分的数据。在分心范式和负荷范式中，正常状态是在休息时段获得的。在疲劳范式中，我们选取KSS评分小于5分时的正常状态数据。最后，我们获得了每个受试者大约6000个样本。请注意，样本表示来自四种模态(即EEG, ECG，呼吸和EDA)对应于四种精神状态的数据的5秒长度。因此，每个受试者6000个样本意味着我们从单个受试者的特定心理状态中获得了1500个数据样本。对于该方法的脑电输入数据，我们将预处理后的脑电数据转换成三张地形图。
首先，我们基于快速傅里叶变换(FFT)计算了五个频段(即delta、theta、alpha、beta和gamma频段)的功率谱密度。
然后，我们从训练数据中选择三个类标签与相应频带功率互信息高的判别频带（保留3）。如下，我们采用极坐标投影法在二维表面上投影电极位置。此外，我们还应用了Clough-Tocher方案来插值头皮上的散射功率测量值，并在32 * 32的范围内估计电极之间的值。在本文提出的方法中，这三幅脑地形图作为CNN模型的输入。将预处理后的PPM提供给LSTM模型(详见3.3节)。因此，每个输入EEG的维数为3@32 * 32，每个PPM的维数为11280(256采样率 5 s)。

3.3. 拟建的网络

不同类型的传感器具有固有的表征和统计特性，这使得跨模态的共同特征检测变得复杂。因此，我们设计了MDL架构来从不同类型的生物信号中学习层次特征。我们对脑电信号使用了CNN模型，对PPMs使用了三个LSTM模型。此外，所提出的网络将来自子网络的每个特征融合在一个全连接层中(图7)。这有利于减少每个模态固有属性的影响。详细说明如下。

3.3.1. CNN用于EEG

我们使用了具有三个隐藏层的CNN架构(即两个卷积层和一个完全连接层)。卷积层使用大小为33的卷积核以及步长为1的卷积核，以及一个ReLU激活函数。卷积层的每个输入都填充1个单位，以保持卷积后的空间分辨率。最大池化是在22步进为2的窗口上进行的。全连接层输出600个单位(详见表2)。

3.3.2. LSTM用于PPM

采用三个LSTM模型对三个PPM进行分析，每个PPM都是基于单通道的时间序列信号。LSTM具有记忆能力，部分地消除了梯度消失的风险。LSTM主要由三个门(遗忘门、输入门和输出门)和五个参数(遗忘门的激活向量、输入/更新门的激活向量、输出门的激活向量、隐藏状态向量和单元状态向量)组成。这种结构使LSTM单元能够忘记无用的过时信息，并根据新的输入进行自我更新。本研究采用了LSTM层。预处理后，每个PPMs原始信号(1 * 1280)作为每个LSTM模型的输入，该LSTM模型具有单个LSTM层，包含200个隐藏单元(见表3)。

3.3.3. 用于分类的全连接层

为了整合每个模态的特征，我们将PPM的特征连接起来。通过由600个单元组成的隐藏全连接层来训练连接的特征。然后，将该层的输出与600个单元的脑电信号特征合并为新的1200个单元。合并后的特征通过1200个单位的全连接层进行训练。最后，由四个输出单元确定类别，使用softmax分类器来指示正常，分心，工作负荷和疲劳状态。

3.3.4. 训练

通过优化交叉熵损失函数进行训练。ReLU和hyper-tangent(tanh)分别作为CNN和LSTM的激活函数。我们使用Adam作为梯度下降优化器，学习率为0.001，第一阶矩和第二阶矩的衰减率分别为0.9和0.99。批量大小设置为20。在所有全连接层中，dropout概率设置为0.5。我们的网络参数在150次之后收敛;通过监测模型的性能来选择迭代。我们没有使用早停。

3.4. 评价和基线方法

为了验证所提出方法的性能，我们使用了k-fold交叉验证方法，这是一种用于在有限数据样本上评估模型的重新采样过程。交叉验证的优点是可以提高分类器性能测量的统计信度。请注意，通常使用k = 10的值。然而，一般来说，k仍然是一个不固定的参数。在我们的研究中，我们选择了三重交叉验证。原因是我们需要用足够的数据训练深度学习模型，同时提高统计可靠性。然而，较大的k值会增加所提出的多模态深度学习模型的训练时间。本研究将提出的方法与几种传统的机器学习方法和最先进的方法进行了基准测试。我们使用Scikit-learn库进行k-NN、随机森林、逻辑回归、支持向量和收缩线性判别分析。LSTM和DCAEN使用Pytorch库。我们比较了单独使用EEG、单独使用PPMs和同时使用EEG和PPMs的分类性能。在这里，我们简要介绍基线方法的解释。每种方法的输入特征总结如表4所示。
k-最近邻(k- nn):通过对新数据邻居的多数投票对其进行分类，并将对象分配给最接近k的类。在我们的研究中，我们在一个聚类{1,3,5,7,10,15}中选择了在训练阶段产生最佳精度的邻居数量。
随机森林(Random forest, RF): RF是一种多决策树的集成分类方法，它依赖于独立采样且具有相同分布的随机向量。在本研究中，计算了所有树的每个输入和输出。得票最多的分类被选中。我们在{5,10,50,100,1000,2000,3000}中选择了在训练阶段产生最高精度的估计器数量。
逻辑回归(LR): LR是一种使用自变量的线性组合来预测和分类事件可能性的统计技术。在我们的研究中，l2-正则化被用来考虑逻辑回归模型的稀疏性。在训练阶段，正则化参数选择在[10^-2,102]范围内。
SVM: SVM寻找最大的边界进行分类。在我们的研究中，正则化惩罚参数C和RBF核标准差逆(g)分别在参数集C ={0.01, 0.1, 1,10,100}和g ={0.01, 0.1, 1,2，…，10}内选择。
sLDA: LDA的目的是将数据投影到特定的坐标轴上，找到一个可以区分类别的边界。LDA将类别的平均值相互分离并减小方差。sLDA的设计是为了防止协方差矩阵因使用谱功率监测飞行员心理负荷的样本量小而变得奇异。本研究采用Ledoit - Wolf引理进行自动收缩。
LSTM: LSTM处理在训练传统rnn时可能遇到的梯度爆炸和消失问题。常见的LSTM模型由输入门、输出门和遗忘门组成。在本研究中，我们用一个隐藏LSTM层和200个隐藏单元组成网络。
DCAEN:提出了一种带有softmax分类器的深度堆叠收缩自编码器网络(deep stacked contractional autoencoder network, DCAEN)，用于学习EEG特征，从而识别飞行员的精神疲劳状态。它建立了三个隐藏层的网络。在该研究之后，本研究设计的隐层节点为800-400-50，收缩系数参数l为0.3。

4. 结果与讨论

4.1. 生理信号分析

在图8中，我们给出了与心理状态相对应的所有试验的PPMs特征的箱形图(如表4所示)。从箱形图的顶部，每一行分别代表EEG、ECG、呼吸和EDA。每个框中的中心标记表示中位数，框的底部和顶部边缘表示范围的第一个和第三个四分位数(Q1和Q3)。四分位数间距(IQR)计算为Q3—Q1。注意，箱形图取所有受试者的所有试验的平均值。需要更详细的调查来考虑个体差异。在EEG特征中，我们计算了每个频段(delta、theta、alpha、beta和gamma)的六个中线通道(Fz、FCz、Cz、CPz、Pz和Oz)的平均功率。对于δ和θ活动，我们观察到分心时IQR的增加。在所有频带中，我们通常发现工作负载状态下的中值减小。此前的研究也报道过这种下降。在疲劳状态下，θ和α的中值增大，β的中值减小;结果与之相似。在伽马活动中，与正常状态相比，所有状态的中位数都倾向于降低。在ECG特征中，我们观察到工作状态下SDNN的IQR降低。但总体而言，我们并没有观察到随着心理状态的转变而发生的明显变化。在呼吸方面，SDAbd和SDThor在分心和负荷状态下的中位值和IQR均降低。在EDA特征中，分心状态下的MEDA和EDASymp的IQR较其他状态有所增加。

4.2. 基线方法的分类性能

表5显示了在三种情况下(单独基于EEG、单独基于PPMs、同时基于EEG和PPMs)，经过三重交叉验证，提出的方法和基线方法的平均分类准确率。在所有方法中，单独使用EEG的分类结果均高于单独使用PPMs的分类结果。当单独使用EEG时，sLDA分类器表现出最高的性能(78.2 ± 5.7%)。单独使用PPMs时，所提方法和LSTM方法的准确率最高，为72.5±8.4%;他们对PPM有相同的LSTM网络。我们推测其高性能是因为它可以通过共享层同时集成和学习各个PPM特征。此外，除了脑电单用DCAEN外，脑电联用和脑电联用的分类结果在大多数情况下均优于脑电单用或脑电联用。这些结果表明，使用多模态生物信号可以有效地提高飞行员心理状态分类的表现。然而，传统的机器学习方法似乎并没有显著提高分类精度，而包括本文方法在内的深度学习模型的准确率大大提高。这些结果表明，深度学习方法适合于多模态学习，因为它能够提取高级表示。我们发现基于多模态生物信号的模型的准确率(85.2 ± 4.3%)高于其他模型。提出的模型的分类精度与基线方法的分类精度之间分别进行t检验。统计分析表明，与其他方法相比，所提方法的准确率显著提高(p < 0.05)。此外，该方法对除受试者2和受试者8外的所有受试者均稳定有效，标准差较小。该框架能够将脑电信号的空间-频谱特征和脑电信号的时间特征融合在一起，能够鲁棒有效地从多模态生物信号中捕获信息。图9显示了所提出的三重交叉验证方法对8个被试的平均个体表现。平均准确率达到85.2±4.3%。表现最好的受试者(S6)的准确率为90.6 ± 5.1%，而表现最差的受试者(S8)的准确率为78.5 ± 6.7%。

4.3. 混淆矩阵

我们还评估了不同分类器的混淆程度。使用k-NN分类器进行三重交叉验证结果的混淆矩阵如图10(a)所示;(b)中使用了RF分类器，©中使用了LR， (d)中使用了SVM， (e)中使用了LSTM， (f)中使用了sLDA， (g)中使用了DCAEN， (h)中使用了本文提出的方法。对角线元素的值表示正确预测类别的比例。与分心状态和正常状态相比，所有方法对疲劳状态和工作负荷状态的识别准确率较高。此外，在正常状态下，模型的准确率不超过65%;该方法在正常状态下的精度最高(62.8%)。平均而言，所提出的方法优于其他方法。我们推测，正常状态识别的低准确率是因为我们没有通过一个独立的程序来确定正常状态。注意，我们合并了与每个范例的正常状态数据相对应的数据。

5. 结论

在这项研究中，我们研究了基于多模态传感器(EEG、ECG、呼吸和EDA)和MDL方法对飞行员各种精神状态(即分心、工作、疲劳和正常)进行分类的可行性。我们收集了受试者在模拟飞行环境中的四种心理状态的相关数据。通过融合不同生物信号提取的信息，与现有的几种解码方法相比，所提出的MDL网络成功地提高了解码精度。我们还研究了飞行员多样化的心理状态对生理指标的影响。虽然我们的数据获取实验范式与之前的研究相似，但未来的工作应考虑获取每种心理状态的随机序列。此外，由于人类神经系统不容易快速切换到不同的精神状态，因此，应该设计更复杂的实验方案。在本研究中，我们重点研究了一个基于主题的分类问题。为了提高BCI系统的便利性、实用性和通用性，需要对主体间和主体内的可变性进行全面调查，以获得更多的见解，这需要设计迁移学习框架。因此，建立最优迁移模型是一个重要的问题，需要进一步研究。此外，还需要对MDL的结构进行优化研究。进一步的研究需要在实际的飞行环境中对所提出的方法进行测试。

---

总结（省流量总结）

整篇文章读下来有以下几点感触（主要是有差点意思的地方），在此先记录一下：
1、原文没有给出相应的开源代码；
2、文章中有提取各类模态的特征，不过基于本人在行业内的观察来看，特征实属太少了，通过数据统计分析其实也体现不出具体含义；
3、采集人员太少，而且似乎没有完全跨被试情况（此处仅为推测，没有看到代码与数据划分无法确定）。
4、中间提到的与分类相关度比较高的3张图（即频谱图）来源于不同频率的波段，但是也没有给出如何计算的，是群体公用一个过滤结果（少数服从多数），还是根据每个人来确定用哪3套波段。