EEG Conformer：Convolutional Transformer for EEG Decoding and Visualization

原文链接：EEG Conformer

代码链接：EEG Conformer

背景

        当前已经开发了各种模式识别方法来解码来自嘈杂的脑电图信号的有用信息。这些方法提取特征并针对不同的任务执行分类。例如：通用空间模式 （CSP） 用于增强运动图像 （MI） 任务的空间特征。连续小波变换（CWT）用于从脑电信号中提取时频特征以检测痴呆。

        通过这些特征可以使用支持向量机和多层感知机完成分类任务。然而，大多数传统的特征提取方法都依赖于任务，这意味着特征是针对不同的 BCI 范式和有限的泛化使用特定的先验知识获得的。

        最近，由于对全局依赖关系的固有感知，基于attention的 Transformer 模型在自然语言和图像处理领域掀起了波澜。Transformer模型也被应用到了EEG分析领域，但是由于没有详细的分析和可视化来阐明 Transformer 如何用于 EEG 解码。Transformer 模型仍在脑电图领域进行探索。

        作者提出了一个卷积transformer架构来解决上述问题。该架构包括三个部分卷积模块，自注意力模块，分类器模块。

        在卷积模块：作者首先使用时间和空间卷积来分别捕获局部时间和空间特征。

        然后，作者将时间维度中每个点的所有卷积通道视为一个标记，并将它们输入到自注意力模块中，该模块进一步学习具有自注意力层的全局时间依赖关系。

        最后，利用简单的全连接层得到解码结果。

方法

简介

        在本文中，作者提出了一种新的框架，称为EEG Conformer，可以直接结合CNN和Transformer进行端到端的EEG分类。借鉴CNN和Transformer的思想，Conformer使用卷积来学习局部时间和空间特征，然后采用自我注意力来封装全局时间特征。

        整体框架如上图所示。整个架构包括三部分组成，一个卷积模块，一个自注意模块和一个全连接分类器。

        在卷积模块中，以原始二维脑电图作为输入，分别沿时间维度和电极通道维度使用时间和空间卷积层。然后使用平均池化层来降低噪声并提高泛化性。

        在自注意力模块中，以卷积得到的时空表示作为输入。自注意力模块通过测量特征图中不同时间位置之间的全局相关性，进一步提取长期时间特征。

        最后，由几个全连接层构成的分类器被用来解码输出。

预处理

        原始EEG信号的格式是ch x sp，其中ch表示电极通道，sp表示时间样本。在不引入额外的与任务相关的先验知识的情况下，作者只使用几个步骤来预处理原始脑电图数据。首先，使用带通滤波去除外来的高频和低频噪声（这里使用六阶切比雪夫滤波器）。然后，进行 Z 分数标准化以减少波动和非平稳性

        其中xi和xo表示带通滤波数据和标准化输出。μ和σ^2表示均值和方差，由训练集得到，并直接应用于测试集。

网络架构

        如图1所示，EEG Conformer包括三步：卷积模块，自注意力模块和全连接分类器。输入是一组预处理的EEG数据包括通道和采样两维，输出是不同脑电图类别的概率。

        1）卷积模块：作者将将二维卷积算子分成两个一维时间和空间卷积层。第一层CNN使用k个大小为(1, 25)的卷积核，在输入数据的时间维度上进行卷积操作，步幅为(1, 1)。第二层CNN保留了k个大小为(ch, 1)的卷积核，在 EEG 数据的电极通道维度上进行卷积操作，步幅为(1, 1)。这一层充当了一个空间滤波器，用于学习不同电极之间交互的表示。随后，采用批量归一化来促进训练过程并缓解过拟合。第三层是沿时间维度的平均池化层，内核大小为 （1， 75），步幅为 （1， 15）。通过这种方式，我们将每个时间点的所有特征通道作为标记送到下一个模块中。

        2）自注意力模块：假设低维时空特征中的上下文相关表示将有利于脑电图解码，因为神经活动是连贯的。卷积模块中得到的token将被线性地转换为相同形状的三份，称为Query （Q）、Key （K） 和Value （V）。具体过程为：先对Q和K进行点积，然后Scaling，将结果通过Softmax函数输出来获取权重矩阵，即attention score。然后用点积对 V用attention score进行加权。这个过程可以写为：

其中k表示token的长度。此外，后面连接了两个全连接层，以增强fit能力。此过程的输入和输出大小保持不变。整个注意力计算在自注意力模块中重复 N 次。

        3）分类器模块：最后，采用两个全连接层作为分类器模块，在Softmax函数后输出一个M维向量。整个架构的损失函数用的是交叉熵。

M是分类的类别数，y和y hat分别是真实label和预测label，Nb是每一批中测试的数量。

实验

作者在三个著名的EEG数据集上进行了实验，包括BCI competition IV dataset 2a https://www.bbci.de/competition/iv/desc_2a.pdf,competition IV dataset 2b https://www.bbci.de/competition/iv/desc_2b.pdf​​​​​​,SEED SEED Dataset。