论文解读 EEGformer: A transformer–based brain activity classification method using EEG signal 视觉重构领域

EEGformer: A transformer–based brain activity classification method using EEG signal

开头先说一段闲话  与文章内容无关  时间紧  请跳过！！！
主要就是记录一下自己写博客的一些原因吧   本来不想写关于这篇文章的博客的  不是说这篇文章的内容不够好  相反我觉得这篇文章
对于EEG信号的处理方式还是让我耳目一新的  主要是今天组会汇报这篇文章的时候  自己因为很多原因没有汇报好  感觉很多自己理解本篇文章的内容 但是
在向同学和老师们汇报的时候却没有找到合适的表达方式  大家肯定都听的云里雾里的  所以我觉得自己很有必要在着向着大家再重新梳理一遍自己对于这篇
文章的理解  也算是我自己给我自己的一次机会  希望自己能在下一次的组会中能够更加流畅的表达自己的想法  嘻嘻嘻嘻嘻

一、研究目的

  本文主要介绍了一种基于Transformer架构的脑电图（EEG）分析模型，名为EEGformer。该模型旨在以一种统一的方法捕捉EEG信号的特征。可以理解为，研究者设计了一种特征提取机制，它并非针对某一特定任务量身定制，而是根据EEG信号的内在特性，开发了一种通用的特征提取方法。这种方法具有广泛的适用性，能够为多种EEG分析任务提供支持。

二、研究背景

  作者在这篇文章中提出了一个很重要的观点，就是EEG信号它具有三种特征，分别是时间性特征、空间性特征和同步性特征。

---

Question One: 如何理解EEG信号的时间性特征、空间性特征和同步性特征呢？

空间性特征

  这里我们可以用视觉的形成过程来举一个例子

  早期视觉皮层（EVC）主要负责处理基本视觉信息，包括检测边缘、颜色、形状和运动等简单特征[172]。具体来说，初级视觉皮层 V1 和次级视觉皮层 V2 处理基本视觉信息，以识别简单的几何图案，例如边缘和方向。 V3 专门研究运动感知和运动相关视觉刺激的处理。 V4 主要与颜色和形状处理相关，有助于颜色感知和物体识别。中颞区 (MT)，也称为 V5，对于运动处理至关重要，尤其是物体运动和运动方向的检测。枕面部区域（OFA）专门处理面部特征，参与面部感知的早期阶段。

  较高视觉皮层（HVC）区域涉及更高级的视觉处理任务，例如物体识别、面部识别、场景感知以及复杂视觉信息的整合[60]。具体来说，枕外侧复合体（LOC）与物体识别的复杂视觉形状和结构的感知相关。梭形面部区域（FFA）专门用于识别和处理面部。海马旁区域（PPA）负责识别场景和空间布局。与 PPA 类似，枕骨区域 (OPA) 处理场景和地点。压后皮层 (RSC) 参与空间导航、记忆和场景处理，有助于创建环境心理地图。顶内外侧区 (LIP) 与背侧视觉流相关，侧重于空间感知、注意力和眼球运动控制。颞顶交界处 (TPJ) 涉及多种功能，包括社会认知、观点采择和注意力。

  （这部分的内容来自Brain-Conditional Multimodal Synthesis: A Survey and Taxonomy这篇论文）

时间性特征

  （EEG（脑电图）信号是一种时序数据，它记录了大脑在时间维度上的电活动。理解EEG信号的时间性特征，意味着要分析和解释这些电活动随时间变化的模式和规律。以下是一些可以从EEG信号的时间轴上提炼出的关键信息：

• 波形模式：EEG信号的波形可以反映大脑的不同状态和活动。例如，α波、β波、θ波和δ波等，它们在频率和振幅上各有特点，与大脑的不同功能状态相关联。

• 频率成分：EEG信号的频率分析可以揭示大脑活动的动态变化。通过傅里叶变换等方法，可以将时域信号转换到频域，分析不同频率成分的强度和变化。

• 时序模式：EEG信号在时间序列中可能存在特定的模式，如周期性波动、突发活动或特定事件相关的响应。这些模式可能与认知过程、情感状态或病理条件有关。

• 相位关系：EEG信号在不同脑区之间的相位关系可以提供大脑不同区域之间相互作用的信息。例如，相位同步可能表明某些脑区在特定任务或状态下的协同工作。

• 事件相关电位（ERP）：特定刺激或事件引发的EEG信号变化，如P300波，可以用于研究感知、注意力和记忆等认知功能。

• 时间-频率分析：通过小波变换等方法，可以同时分析EEG信号的时间和频率特性，揭示信号在不同时间点的频率成分变化。

• 动态变化：EEG信号随时间的动态变化可以反映大脑对内外环境变化的适应性，如在执行任务、情绪变化或疾病状态下的调整。

• 非线性动态：EEG信号可能表现出复杂的非线性动态特性，如混沌现象，这些特性可以提供对大脑复杂性的理解。

同步性特征

  EEG（脑电图）同步性特征主要指的是在不同脑区之间，神经活动在时间上的一种协调性。这种同步性可以反映大脑在进行某些特定功能或认知活动时，不同脑区间是如何协同工作的。EEG同步性特征的分析有助于我们理解大脑的工作原理以及不同脑区之间的信息交流方式。

  EEG信号的同步性特征可以从多个角度进行分析：

• 时间尺度的同步性：大脑在进行某些认知任务时，不同脑区可能会在特定的时间点显示出同步的神经活动，这反映了大脑在处理信息时的协调性

• 频域的同步性：在特定的频率范围内（如α波、β波、θ波、δ波），不同脑区的EEG信号可能会显示出同步的振荡模式，这种同步振荡可能与特定的认知功能相关联。

• 相位同步：即使两个脑区的EEG信号在幅值上不完全相同，它们在相位上也可能表现出同步性。这种相位同步可以揭示大脑中不同区域之间在神经活动上的细微联系

• 非线性同步性：大脑的神经活动往往是非线性和复杂的，通过非线性分析方法，如同步似然（Synchronization Likelihood）等，可以揭示EEG信号之间更深层次的同步性特征

• 功能网络的同步性：通过构建基于EEG信号的复杂脑网络，可以分析网络中节点（脑区）之间的同步性，从而了解大脑功能网络的拓扑结构和动态特性

---

三、模型框架及技术路线

  为了分析脑电图（EEG）信号并捕捉其时间性、区域性和同步性的特征，作者设计了一种名为EEGformer的基于Transformer的模型。这个模型能够综合地处理EEG数据。首先，我们使用一维卷积神经网络（1DCNN）自动提取每个EEG通道的特征。然后，这些特征被送入EEGformer模型中，该模型由三个主要部分组成，它们依次是区域Transformer、同步Transformer和时间Transformer，共同工作以捕获EEG信号的关键特征。模型的大致框架如下图所示：

1DCNN

1DCNN 采用多个深度卷积来提取 EEG 通道特征并生成 3D 特征图，具体来说就是EEG片段被表示为二维矩阵$S\times L$，其中 S 是通道数，L 是片段长度。输入1DCNN前进行去趋势和归一化处理，得到 x ∈ R S × L x\in \mathbb{R}^{S\times L} x∈RS×<