【文献翻译】用于改进脑电图癫痫发作分析的自监督图神经网络 - (DCRNN / SSL)

原文：SELF-SUPERVISED GRAPH NEURAL NETWORKS FOR IMPROVED ELECTROENCEPHALOGRAPHIC SEIZURE ANALYSIS，ICLR 2022

算法/结论等学习后再进行补充

摘要

从脑电图（EEG）自动检测和分类癫痫可以极大地提高癫痫的诊断和治疗。然而，在之前的癫痫自动检测和分类研究中，有几个建模挑战尚未解决：

1. 在脑电图中表示非欧几里德数据结构，
2. 准确地对罕见的癫痫类型进行分类，
3. 缺乏量化的可解释性方法来衡量模型定位癫痫发作的能力。

在这项研究中，我们通过

• 使用图神经网络（GNN）表示EEG中的时空依赖性，并提出两种EEG图形结构来捕捉电极几何结构或动态大脑连接来应对这些挑战
• 提出一种自监督的预训练方法，预测下一个时间段的预处理信号，以进一步提高模型性能，尤其是在罕见的癫痫类型上
• 提出一种定量模型可解释性方法，以评估模型在脑电图中定位癫痫发作的能力。

在一个大型公共数据集（5499个EEG）上评估我们的癫痫检测和分类方法时，我们发现我们的GNN在自监督的预训练下，癫痫检测的受试者操作特征曲线下的面积达到0.875，癫痫分类的加权F1分数达到0.749，在癫痫检测和分类方面都优于以前的方法。此外，我们的自我监督预训练策略显著改善了罕见发作类型的分类（例如，与基线相比，强直性发作的综合准确度提高了47分）。此外，定量解释性分析表明，我们的GNN在自监督的预训练下精确定位了25.4%的局灶性癫痫发作，比现有CNN提高了21.9个百分点。最后，通过在原始EEG信号和EEG图上叠加已识别的癫痫发作位置，我们的方法可以为临床医生提供局部癫痫发作区域的直观可视化。

1 介绍

癫痫发作是世界上最常见的神经系统紧急情况之一（Strein等人，2019年）。癫痫是一种影响全球5000万人的神经系统疾病（WHO，2019年）。临床上，癫痫发作的明确检测只是癫痫诊断的第一步。随后的一个重要步骤是将癫痫分为更精细的类型——如局灶性发作与全身性发作——以识别癫痫综合征、靶向治疗和癫痫手术的资格（Fisher等人，2017年）。

头皮脑电图（或“EEG”）在癫痫检测和分类中起着关键作用。临床上，基于EEG的癫痫检测和分类由经过训练的EEG阅读器执行，该阅读器在数小时到数天的时间段内对患者的EEG信号进行视觉检查。然而，这种手动分析非常耗费资源和时间，因此自动化算法可以大大加快癫痫诊断，改善重症患者的诊断效果。

虽然大量的研究已经尝试了自动癫痫发作检测或癫痫发作分类，一些挑战基本上仍未解决。

首先，最近的研究使用卷积神经网络（CNNs），其假设EEG信号或谱图中的欧几里德结构。然而，欧几里德结构的假设忽略了脑电电极的自然几何形状和大脑网络的连通性。EEG通过放置在歧管（即患者头皮）上的电极进行测量（图1a），因此具有固有的非欧几里德结构。图是一种可以表示复杂的非欧几里德数据的数据结构，图论已广泛用于大脑网络建模。因此，我们假设基于图形的建模方法可以更好地表示脑电图中固有的非欧几里德结构，从而提高癫痫检测和分类模型的性能和临床实用性。尽管使用了传统的图论，但只有少数深度学习研究将脑电图建模为癫痫检测的图形。然而，这些基于图表的研究仅限于非公开或小数据集，没有利用现代自监督的方法或检查癫痫分类。

【转】欧几里德结构数据(Euclidean Structure Data) 以及非欧几里德结构数据(Non-Euclidean Structure Data)

第二，某些发作类型（如阵挛发作）本质上是罕见的。使用传统的监督学习方法训练在这些罕见癫痫类中表现良好的机器学习模型是一项挑战，这可以解释之前研究中主要和少数癫痫类型之间的表现差异。一些研究已经研究了一种替代的、自监督的训练策略，但是他们没有将EEG建模为图或地址自动发作分类。之前的研究表明，在计算机视觉领域，自监督的预训练可以显著提高标签不平衡数据的模型性能。因此，我们假设自我监督的预训练有助于改善我们的图模型在罕见癫痫类型上的性能。此外，很大一部分脑电图信号通常没有癫痫发作。自我监督的预训练策略将允许模型利用数据集中现成的大量非Seizure EEG。 先前的工作表明，自监督预训练显着提高了计算机视觉领域标签不平衡数据的模型性能。 因此，我们假设自我监督的预训练可以帮助提高我们在罕见癫痫发作类型上的图模型性能。 此外，大部分脑电图信号通常没有癫痫发作。 自我监督的预训练策略将允许模型利用数据集中现成的丰富的非癫痫脑电图。

最后，对于癫痫检测和分类模型，不仅能够在所有EEG通道中提供单一预测，而且能够提供解释性和癫痫定位能力，这将在临床上有助于指导治疗策略。虽然之前的研究显示了模型可解释性的定性可视化，但没有一项定量评估模型定位癫痫发作的能力。

在这项工作中，我们的目标是解决这些限制，在以前的自动癫痫检测和分类研究。

• 首先，我们提出了一种基于图的癫痫检测和分类建模方法。
  具体而言，我们提出了两种EEG图结构，用于捕捉EEG传感器几何结构（图1b）或动态大脑连接（图1c），并扩展了扩散卷积递归神经网络（DCRNN）（Li等人，2018），一种带有图扩散卷积的RNN，以建模EEG中的时空依赖关系（图1d）。
• 其次，我们使用一种自监督的预训练策略来提高DCRNN的性能，该策略在不需要额外数据或标签的情况下预测下一个时间段的预处理EEG信号。
• 最后，我们提出了定量指标来评估我们的模型定位癫痫发作的能力。

总结：

1. 我们提出了两种EEG图结构，用于捕捉（1）EEG传感器的自然几何结构或（2）大脑中的动态连接，并表明，基于这些表示构建一个递归图神经网络（Recurrent GNN）可以产生癫痫检测和分类模型，在大型公共数据集（5499个EEG）上的性能优于以前的方法。

2. 我们提出了一种自监督的预训练策略，以进一步提高我们的recurrent GNN模型的性能，尤其是在罕见的癫痫类型上。据我们所知，我们的研究是迄今为止首次将基于图形的建模与EEG的自我监督预训练相结合。通过利用图形结构和自我监督，我们的方法在癫痫检测时在受试者操作特征曲线（AUROC）下的面积达到0.875，在癫痫分类时的加权F1分数达到0.749，在这个大型公共数据集上，在癫痫检测和分类方面都优于以前的方法。此外，我们的自监督预训练方法大大提高了罕见发作类型的分类（例如，与基线相比，强直性发作的综合准确度提高了47分）。

3. 我们提出了一种定量模型解释性分析，可用于评估模型定位癫痫发作的能力，这对于确定癫痫发作的治疗过程至关重要。我们表明，通过利用图形结构和自我监督，我们的方法精确定位了25.4%的局灶性癫痫发作，比之前最先进的CNN提高了21.9个百分点。最后，通过在原始EEG信号和EEG图上显示已识别的癫痫发作区域，我们的方法可以提供有价值的见解，在现实世界的临床环境中支持更有效的癫痫发作诊断。
   
   
   
   

2 方法

2.1 癫痫发作检测与分类问题

癫痫发作检测的目标是预测癫痫发作是否存在于EEG片段中，癫痫发作分类的目标是预测给定癫痫发作EEG片段的癫痫发作类型。在之前的一项研究（Saab等人，2020年）之后，我们检验了我们的模型分别在12秒和60秒EEG片段上进行快速和慢速检测和分类的能力。

2.2 基于图的EEGs建模

（这一部分等学完了GNN再更新）

2.2.1 将EEG表示为图

2.2.2 图神经网络

2.3 自监督预训练

为了进一步提高DCRNN的性能，我们提出了一种自监督的EEG预训练策略。具体来说，我们对模型进行预训练，以便在给定预处理的12秒（60秒）EEG片段的情况下预测下一个$T^{{}^{\prime }}$秒的预处理EEG片段。我们假设，通过学习预测下一个时间段的EEG信号，该模型将学习任务不可知表征，并改进下游癫痫检测和分类任务。自监督预训练模型具有sequence-to-sequence的体系结构，带有编码器和解码器（Sutskever等人，2014年），每个都有几个堆叠的DCGRU（图1d）。我们使用真实预处理的EEG片段和预测片段之间的平均绝对误差作为损失函数。初步实验表明，预测未来的$T^{{}^{\prime }}=12$秒预处理EEG片段会导致验证集上的低回归损失，因此我们在所有自我监督的预训练实验中使用$T^{{}^{\prime }}=12$。

2.4 模型的可解释性和定位癫痫发作的能力

我们使用基于遮挡的方法进行模型可解释性分析（Zeiler&Fergus，2013）。

3 实验

3.1 实验设置

数据集

我们使用公立坦普尔大学医院脑电图发作语料库(Temple University Hospita EEG Seizure Corpus， TUSZ）v1.5.2，这是迄今为止最大的公共脑电图发作数据库，有5612次脑电图，3050次临床记录的标注发作，以及八种发作类型。我们在标准10-20系统中包括19个脑电图通道（图1b-1c）。为了评估模型对未知患者的可推广性，我们从官方TUSZ测试集中排除了五名同时存在于官方TUSZ训练和测试集中的患者。此外，我们使用TUSZ中关于癫痫发作持续时间和位置的详细标注进行解释性分析。表1总结了TUSZ数据。

数据预处理

由于癫痫发作与特定频段的脑电活动有关，我们进行数据预处理，将原始EEG信号转换到频域。与之前的研究类似，我们获得了原始EEG信号的快速傅里叶变换的对数振幅。对于癫痫检测和自监督预训练，我们使用癫痫和非癫痫脑电图，并使用非重叠的12-s（60-s）滑动窗口获得12-s（60-s）EEG片段。对于发作分类，我们只使用发作脑电图，并从每个发作事件中获得一个12秒（60秒）的脑电图片段，这样每个脑电图片段就只有一种发作类型。附录A给出了数据预处理的细节，附录B比较了频域和时域输入的结果。

改进的癫痫发作分类方案

由于简单部分性（SP）发作和复杂部分性（CP）发作是以临床行为（发作期间的意识）为特征的局灶性发作，仅凭EEG信号无法区分，我们将局灶性非特异性（FN）、SP和CP发作结合起来，形成一个组合局灶性（CF）发作类别。我们在附录C中提供了大量实验，表明这些局灶性发作类型无法通过各种模型加以区分。我们也排除了肌阵挛发作，因为在TUSZ只有三次肌阵挛发作。此外，由于强直和强直阵挛发作在数据集中很少见（TUSZ训练集中只有18次强直发作和30次强直阵挛发作），而且强直阵挛发作总是从强直期开始，因此我们将强直阵挛发作与强直性发作结合起来，形成一个强直（CT）综合发作类。总之，共有四种发作类型：CF、generalized non-specific（GN）、absence（AB）和CT发作（表1）。在附录L中，我们展示了TUSZ最初八种发作类型的发作分类结果。

数据划分

我们将患者的正式TUSZ训练集按90/10的比例随机分成训练集和验证集，分别用于模型训练和超参数调整，并将正式TUSZ测试集用于模型评估（不包括正式TUSZ训练集中和测试集中的五名患者）。训练、验证和测试集由不同的患者组成。关于预处理的EEG片段和每个划分中的患者数量，请参见附录D

基线

为了将我们的DCRNN与传统CNN/RNN进行比较，我们包括三个主要基线：（a）Dense-CNN，用于癫痫检测的先前最先进的CNN，（b）LSTM，以及（c）CNN-LSTM。基线在相同的预处理数据上进行训练和评估。此外，我们将我们的方法与报道的两个CNN癫痫分类结果进行了比较，这两个CNN使用TUSZ和对看不见的患者进行测试。

模型训练

所有型号的训练都是在NVIDIA Titan RTX GPU上使用PyTorch中的Adam optimizer完成的。对于未进行自我监督预训练的模型，随机初始化模型参数；对于进行自我监督预训练的模型，使用编码器的预训练权重初始化模型参数。所有模型用不同的随机种子进行了五次试验。详细的超参数设置如附录E所示。在训练期间，我们按照附录F所述进行数据扩充。

3.2 实验结果

# 4 结论 总之，我们提出了一种结合基于图的建模和自我监督预训练的新方法，用于基于EEG的癫痫检测和分类，以及一种可解释性方法，用于量化模型对癫痫定位的能力。我们的方法在大型公共数据集的癫痫检测和分类方面都达到了最新水平，显著改进了罕见癫痫分类，并更准确地定位了癫痫发作。我们还发现，基于相关性的图比基于距离的图更准确地定位局灶性癫痫发作。改进的癫痫发作定位能力和新颖的图形可视化可以为临床医生提供关于现实世界临床环境中局部癫痫发作区域的宝贵见解。展望未来，由于我们的方法不仅仅局限于EEG，我们的研究为构建各种医学时间序列的基于图形的表示提供了激动人心的机会。