EEG总结

1 EEG介绍

脑电图（EEG）是对大脑电场的非侵入性测量。放置在头皮上的电极记录神经元内和周围的电流产生的电压电位。中枢神经系统(大脑)的关键功能是调节全身身体或心理活动参与情感过程。脑电图可以记录中枢神经系统的生理活动。

1.1 EEG 发展历史

1.2 EEG信号采集介绍

单个神经元、神经元群体和部分皮层的活动可以通过电信号直接测量。(A)膜片钳技术用于记录单个神经元的动作电位（单单位记录）。这里，一个锥体神经元被图示。动作电位是短持续时间（1 ms）、高振幅（<100 mV）的脉冲。(B)电极微阵列可以插入脑组织中，以记录神经元群体的活动。根据滤波器设置，可以隔离多单位活动（动作电位）或低频局部场电位（LFP）;后者具有与头皮记录EEG相似的频谱特征。©在脑电图（EEG）中，放置在头皮表面的宏观电极测量大脑大部分区域的电活动。 EEG振荡根据潜在神经元群体的同步或去同步活动而变化。此外，头皮上记录的信号由于通过各种颅内介质以及头皮的体积传导而衰减和失真。

1.3 EEG信号的处理和分析

1.3.1 EEG电极位置

每个位置都有一个字母来标识叶，一个数字来标识半球的位置。F代表额叶，T代表颞叶，C代表中央（虽然没有中央叶，字母用于识别目的），P代表顶叶，O代表枕叶。Z（零）指放置在中线上的电极。偶数表示电极在右半球的位置，奇数表示左半球的位置。

1.3.2 EEG信号的处理过程

在这里，我们提出了三个’流程’描绘一些EEG处理和分析步骤。图表的灰色部分在所有分析中共享，通常称为“预处理”。在此阶段期间，采集信号，并且每个通道的记录参考共享电压。然后，在频域中对信号进行滤波以排除潜在的非生物噪声。检查信号是否存在例如由于肌肉活动而导致的伪影，并提取相关的数据时期用于后续处理。在这一点上，不同ERP的时期被分组和平均，获得一组时间序列，这些时间序列被统计地比较以评估显著差异。

1.4 EEG信号的特征

为了了解如何评估脑电活动中发生的变化，我们提出了最常用的特征：感觉诱发电位（SEP），事件相关电位（ERP）和事件相关失/同步（ERD/ERS）。

EEG信号采集后是由通道数（即电极数）*时间点数二维数组形式组成。主要分析其时域特征，频域特征，时频域特征和空域特征。

1.4.1 时域特征（time domain）

大多数脑电设备以时域形式采集EEG信号，故时域特征最直观易得, 其主要包括: 事件相关电位、信号统计量、能量、功率、高阶过零分析、Hjorth参数特征、不稳定指数和分形维数。

1.4.1.1 事件相关电位（event related potential, ERP）

ERP 是通过平均多个 EEG 试验获得的，ERP具有非常高的时间分辨率，可以测量对短刺激的即时反应。它们通常以刺激后特定毫秒间隔内的正、负电位的潜伏期和振幅来测量。ERP组件的封装顺序为：P100、N100、N200、P200、P300、慢皮质电位（Slow Cortical Potential， SCP）。N100的特征是电压负偏转，刺激与响应之间的延迟（潜伏期）为100ms，而P100的特征与N100相同，但具有正偏转。N200和P200类似于N100和P100，延迟大约为200 ms而不是100 ms（在150到275 ms之间变化）。P300被认为反映了涉及刺激评估或分类的过程，其特征是电压正偏转，潜伏期约为250至500 ms。SCP可以在300毫秒到几秒内发生。

1.4.2 频域特征（frequency domain）

由于时域特征无法展示信号的频率信息，研究者加入了频域分析。 首先将原始的时域信号转换至频域获得频谱，之后将频段分解到与人的心理活动联系密切的5个子频段δ,θ,α,β,γ，再从中计算特征。

通常使用傅里叶变换(Fourier transfer, FT) 进行时– 频域转换。 将信号投影到固定的正交函数系上, 用一组变换系数(谱线)表示时间函数，各谱线表示某一频率分量的相位、幅度等参数。

Delta波与无意识思维有关，发生在深无梦的睡眠中。

Theta波与潜意识思维有关，例如睡觉和梦想等活动。

Alpha波通常与放松的精神状态有关，但意识到，并且在顶叶和枕叶上更为明显。高 alpha 活性与大脑失活有关。

Beta波与积极的心理状态有关，在强烈的集中心理活动中，额叶皮层和其他区域更为突出。

Gamma波与大脑高度活跃有关。

分解频段后，再分别提取功率、功率谱密度、事件相关同步化、事件相关去同步化、高阶谱、微分熵等特征。

1.4.2.1 事件相关 (去) 同步化（ERD / ERS）

在一个刺激事件之后的若干毫秒内，EEG信号在某一频段上功率的快速升高称为事件相关同步化(event related synchronization, ERS); 相反, 功率降低称为事件相关去同步化 (event related desyn chronization, ERD) 。它们在时域中不明显，需要在频域上经过带通滤波和平滑后才能观察到。 一般认为ERS和ERD与大脑神经元放电的同步性有关，当同步性增加时能量叠加变高，产生ERS；同步性下降时能量降低,产生ERD。

1.4.3 时频域特征（time-frequency domain）

傅里叶变换的作用范围是整个时域，缺乏局部化能力，且无法确认非平稳信号各频域成分对应的时刻，所以引入了时域与频域结合的时频域。通常做法是划分出若干时间窗，各窗内的子信号近似平稳，将其变换至频域得到一组频域特征，滑动时间窗可处理不同时段，从而同时获取信号的时域和频域信息，提高对不稳定信号的处理能力，可粗略计算情绪开始和持续的时间。

通常使用短时傅里叶变换(short-time Fourier transform, STFT)、小波变换 (wavelet transform, WT) 和小波包变换 (wavelet packet transform, WPT) 或 Hilbert-Huang 方法来进行时频域信号变换。

1.4.4 空间域特征（space domain）

脑电信号采自若干个对应大脑皮层不同位置的电极，左右半球产生的EEG信号与情绪效价有关；消极情绪能激活右侧额叶、颞叶和顶叶,而积极情绪可以激活左侧区域。 因此形成 EEG 的空间域特征，主要分为空频域特征和电极组合特征。

1.4.4.1 电极组合

计算电极组合特征时，先对各电极信号计算前述时域、频域或时频域特征作为初步特征值，再将若干电极组合成对，进一步计算特征。电极对的组合方式包括对称和不对称两种，对称方式又分为前后对称和左右对称。

1.5 EEG的一些特点

• 高时间分辨率：EEG能够捕捉大脑活动的即时反应，精确到毫秒级。这使得它在研究大脑在特定任务或刺激下的反应非常有效。
• 全脑活动的测量：EEG可以反映大脑各个区域的电活动，能够揭示大脑不同区域之间的相互作用和功能网络。
• 非侵入性：相较于其他脑成像技术（如功能性磁共振成像fMRI或脑磁图MEG），EEG是一种安全、非侵入性的技术，适用于长期监测。
• 成本相对较低：EEG设备的成本较低，并且维护相对简单，使其成为许多临床和研究环境中常见的选择。
• 空间分辨率较低：尽管EEG具有极高的时间分辨率，但由于信号需要通过头骨传导，EEG在空间分辨率上有限，难以精确定位大脑深层结构的活动。
• 噪声干扰：EEG信号容易受到眼动、肌肉活动等生理噪声的影响，需要通过信号处理技术来去除这些伪影。
• 非平稳信号：大脑的活动状态会随着时间的推移发生变化。例如，在不同的睡眠阶段、注意力集中程度、情绪波动或不同的认知任务下，大脑的电活动会表现出不同的频率和幅度特征。

2 情绪的定义方法

情绪表征有两个不同的视角。

2.1 离散模型

第一个（分类）表明基本情绪是通过自然选择演变的。Plutchik 提出了八种基本情绪：愤怒、恐惧、悲伤、厌恶、惊讶、好奇心、接受和喜悦。所有其他情绪都可以通过这些基本情绪形成（例如，失望由惊讶和悲伤组成）。Ekman 遵循达尔文的传统，基于他对来自许多普遍基本情绪的面部表情和情绪之间的关系的工作：愤怒、厌恶、恐惧、快乐、悲伤和惊讶。

2.2 维度模型

维度模型则是基于认知评价将情绪空间划分为效价–唤醒度(valence-arousal, VA) 两个维度， 或效价– 唤醒度– 优势度 (valence arousal-dominance, VAD) 3 个维度， 目前对于VA模型的研究比VAD 模型更广泛。效价表示情绪是积极还是消极的；唤醒度反映情绪的强烈程度；优势度指人能否控制这种情绪。

3 EEG数据集介绍

3.1 SEED（SEED Dataset）

SEED 数据库由上海交通大学发布, 用时长 4 min 左右的华语电影片段诱发正性、中性和负性效价的3种情绪。使用62导的ESINeuroScan 系统采集15名被试(7名男性,8名女性,年龄平 均值为23.27, 标准差为 2.37) 的脑电数据， 采样率为 1000 Hz。每名被试在不同时间做 3 次实验， 每次观看15 段电影片段， 即共45个试次。 对EEG信号的预处理包括: 信号下采样至200Hz, 去除眼电和肌电噪声, 并使用0.3 ∼ 50 Hz 的带通滤波器. 计算时频域特征时, 使用长度为 1 s 互不重叠的 hanning 窗进行短时傅里叶变换,并划分5个频段δ(1∼3Hz),θ(4∼7Hz),α(8∼13Hz), β (14∼30 Hz), γ (31∼50 Hz)。

3.2 DREAMER

DREAMER 数据库由 University of the West of Scotland 发布, 提供被试对影片在效价、唤醒度和控制度上的评分,并据此得到相应情绪的正负性或唤醒度、控制度的高低. 影片共18段,长度在 65 ∼ 393 s 之间. 实验使用 14 导的 Emotiv EPOC 系统, 采集 23 名被试 (14 名男性, 9 名女性, 年龄平均值为26.6, 标准差为2.7) 观看电影时的脑电和心电数据,采样率为128Hz. 截取每段信号最后的60s, 并用MATLAB环境下的EEGLAB工具包 做预处理。用长度为2s、相邻窗重叠1s的 时间窗进行短时傅里叶变换,并将信号分为θ(4∼7Hz),α(8∼13Hz), β (14∼30 Hz) 3 个频段。

3.3 CAS-THU

CAS-THU数据库由中国科学院心理研究所与清华大学共同提出,使用16段华语影片诱发8种 离散情绪, 包括搞笑、高兴和温馨3种正性情绪,厌恶、恐惧、愤怒和悲伤4种负性情绪以及中性状 态. 使用14 导Emotiv EPOC 系统采集 30 名男性被试 (年龄平均值为23, 标准差为1.73) 的脑电数 据. 预处理时先通过1∼45Hz 的带通滤波器, 再用独立成分分析(independent component analysis,ICA) 和 MATLAB 环境下的 EEGLAB 工具包除去眼电干扰. 与 DREAMER 相同, 采用长度 2s 且相邻重叠1s的时间窗做STFT,将信号划分为5个频段: δ (1∼4Hz), θ (4∼8 Hz), α (8∼12 Hz), β (13∼30 Hz), γ (31∼45 Hz)。

4 基于深度学习的EEG情感分析方法

4.1 0→1→2→4→11

即为特定特征设置阈值，如果特征值超过默认阈值，则确定样本属于特定的情绪状态。

4.2 0→1→2→5→11

利用传统的机器学习算法识别。

4.3 0→1→2→3→11

4.4 0→1→3→11 and 0→3→11

上述方法将手工特征图作为输入，有些低估了 DL 的“端到端”表示学习能力，实际上与深度学习中的数据驱动模型构建理念不一致，手工表示可能会丢失原始 EEG 中隐含的大量宝贵信息。

4.4.1 TSception

代码：https://github.com/deepBrains/TSception

（1）简介

受 GoogleNet的 Inception 块的启发，我们提出了 TSception，这是一种用于 EEG 信号分类的深度学习框架。它使用时间和空间学习器同时学习时域和空间域中脑电信号的更具区分性的表示。TSception 中有两种类型的卷积学习器：时间学习器和空间学习器。时间学习器具有多尺度卷积核，学习更具辨别力的多个时间和频率表示。心理生理学证据表明，人类额叶大脑区域的左右半部分与特定的情绪和情感特征有差异关联。空间学习者利用大脑情绪不对称的正面区域，使用半球核从右侧和左侧大脑学习信息的适当表示。

（2）模型介绍

Temporal Learner（时间学习器）

• 卷积核$S_T^i=(1,{\alpha }^i\cdot f_S),\alpha =[0.5,0.25,0.125]$ 其中$T$是每个级别核的数量

• 将数据按时间分成$n$段$X=[x^0,x^1,...,x^n],x^n\in R^{C\ast L}$

• 小批量输入，每个批量$B$次一共$B/n$个批次，则输入的纬度为$B\ast C\ast L$

Spatial Learner（空间学习器）

• 卷积核：全局卷积核（C,1）、半球卷积核（0.5*C,1）

（3）实验结果

5 模型评估指数

5.1 分类任务

对于分类建模任务，构建的分类器通常基于基于混淆矩阵的方法进行评估

5.2 回归任务

6 参考文献

Zhang, Guanhua et al. “A review of EEG features for emotion recognition.” SCIENTIA SINICA Informationis (2019): n. pag.

Xiang Li, Yazhou Zhang, Prayag Tiwari, Dawei Song, Bin Hu, Meihong Yang, Zhigang Zhao, Neeraj Kumar, and Pekka Marttinen. 2022. EEG Based Emotion Recognition: A Tutorial and Review. ACM Comput. Surv. 55, 4, Article 79 (April 2023), 57 pages. https://doi.org/10.1145/3524499

Andrea Biasiucci, Benedetta Franceschiello, Micah M. Murray,Electroencephalography,Current Biology,Volume 29, Issue 3,2019,
Pages R80-R85,ISSN 0960-9822,https://doi.org/10.1016/j.cub.2018.11.052.

S. M. Alarcão and M. J. Fonseca, “Emotions Recognition Using EEG Signals: A Survey,” in IEEE Transactions on Affective Computing, vol. 10, no. 3, pp. 374-393, 1 July-Sept. 2019, doi: 10.1109/TAFFC.2017.2714671.

Y. Ding et al., “TSception:A Deep Learning Framework for Emotion Detection Using EEG,” 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, UK, 2020, pp. 1-7, doi: 10.1109/IJCNN48605.2020.9206750.

问题

平稳信号vs非平稳信号

平稳信号的统计量相对于时间是不变的，如正弦函数余弦函数产生的波；非平稳信号相对于时间是变化的，就是信号产生的过程中总有新的信息，例如地震波，脑电波。

诱发vs诱导

诱发活动和诱导活动主要是从信号的角度去分析脑部的活动，诱发活动具有时间锁定和相位锁定的特点，即在同一事件发生的过程中，诱发活动产生的信号的时间和相位总是一样的，这反映的是脑部活动中特定功能的同步活动；诱导活动不具有时间锁定和相位锁定的特点，它们在事件发生的过程中是时间和相位是不确定的，这反映的是脑部活动中一些不同步的活动。

时间锁定和相位锁定

Depthwise卷积与Pointwise卷积