【文献阅读】基于脑网络的EEG情绪分类研究

本篇学习报告基于论文《基于脑网络的EEG情绪分类研究》，该论文的主要贡献有三点：（1）提出了通过构造脑电信号实时脑网络，用于记录信号采集过程中情绪开始和结束的变化时间，根据脑网络的变化对脑电信号进行截取。（2）将预处理后的全部EEG信号分别输入基于CNN和基于LSTM的情绪分类模型中进行情绪识别得出LSTM网络对脑电信号这种时序性特征较强的信号具有更好的效果。（3）针对卷积神经网络处理脑电信号中存在的局限性，提出并设计了卷积循环神经网络架构CNN-LSTM模型，充分结合两种深度学习网络的优点(自动提取脑电特征的能力和利用脑电信号的时间序列信息的能力)。

---

前言

在这篇文献中，作者利用脑电信号来构建脑网络并得到脑网络的拓扑结构，从而分析不同节点间的连接及关系，通过节点间的连接差异性作为判断情绪差异性的依据。最后，结合深度学习网络算法作为一种提高脑电信号识别准确率的方法。

一、概述

         本文将探索如何通过刺激材料诱发采集的脑电信号以及根据信号构造的脑网络应用到情绪识别上，并结合深度学习神经网络模型对情绪分类进行研究。充分利用深度学习算法强大的特征提取能力和处理时序信号的能力，结合隐含在EEG信号中的时序信息，构建合理的深度学习神经网络，完成基于脑网络的EEG信号的情感识别任务。考虑到出现情绪特征时间的不确定性，则所选EEG
信号可能不包含情绪。因此，找出脑电信号中是否存在不包含情绪特征的部分，或者何时明显出现情绪特征，是本文需要解决的中心问题。

 表一 本文使用的情绪分类模型

---

二、脑电信号采集与预处理

1.脑电信号采集

在实验过程中，首先屏幕上会显示3000 毫秒的注视点“+”，以鼓励参与者集中精力并播放视频。该视频将显示约 3 分钟，视频播放后，参与者需要在观看视频的同时按下按钮以提供反馈。在产生主观感觉之后，提供了三个选项:“正面”“中性”和“负面”。反馈结束后，黑屏将显示 7000 毫秒，这段时间的设置是为了让被试者放松下来使情绪得到缓解，避免视频刺激材料间的情绪干扰。

图2-1 脑电信号采集流程

 在实验中，收集了 62 个电极的 EEG 信号。电极分布循国际脑电图规定的标准电极放置方法一10/20 系统电极放置方法。 图2-2 显示了62 导电极的电极分布情况。

图2-2 EEG信号采集器电极分布 

2.数据预处理

2.1去除坏区

2.2去除眼电伪迹

2.3去除其他伪迹

2.4数字滤波

---

三、脑网络构建

1、PLV

        基于脑电图信号诱导的脑活动同步是目前研究的热点。相位锁向值(PhaseLocking Value，PLV)，是相位同步家族中测量相位交互的最常用的方法之一，作为一种测量两个时间序列信号相位差的方法，由于其不受体积传导和有源参考电极的影响，在脑电分析中得到了广泛应用。PLV 方法在构造脑网络方面效果稳定并且能有效地识别不同情感类型。 

 为电极信号x与电极信号 y之间在时刻t的相位位差。N 为时间序列的长度。PLV 值的范围是[0，1]，则最小值为 0，表示两个信号之间没有相位同步关系。最大值为 1，这意味着两个信号之间的相位同步达到最大值，代表完全相位同步。

2、基于PLV的EEG脑网络构建

         对于获得的 EEG数据的时间序列，根据公式计算每个样本64个电极中任意两个电极之间相应 PLV 的大小，并将其值用作两个电极之间的估计通道功能连接的依据。根据设计的值大小，我们就能得到对应的脑网络，如图为通过 PLV 的方法构造得到的脑网络。

图3-1 脑网络连接图 

---

四、模型构建

4.1 基于EEG的CNN模型

        在本文中，CNN模型卷积核均为3X3，根据我们采集并处理的脑电数据，在进行
第一次卷积之后，第一个卷积层犯个卷积核，在进行第二次卷积之后，第二个卷积层
64个卷积核。在池化层中，第一个最大池化过滤器的大小为2X2，第二个最大池化过
滤器的大小为2X1。经过全连接层，将会输出两种结果。

 

 图4-1 基于EEG的CNN模型

4.2 基于EEG的LSTM模型

 LSTM模型共包含四层，分别为:1)输入层，全部脑电数据作为输入序列;2) LSTM层，主要负责提取输入的脑电数据前后文时域信息;3)全连接层，负责整合LSTM层提取的特征;4)输出层，输出分类识别率。

表4-1 LSTM模型具体参数设置 

4.3 基于EEG的CNN-LSTM模型

        该模型两个卷积层中的卷积核的大小均为3X3，根据我们采集并处理的脑电数据，在进行第一次卷积之后，第一个卷积层有32个卷积核，在进行第二次卷积之后，第二个卷积层有64个卷积核。在池化层中，第一个最大池化过滤器的大小为2X2，第二个最大池化过滤器的大小为2X1。经过上述的特征提取后，得到了64个通道脑电信号的情感特征向量。送入到LSTM层，LSTM层中，学习率设为0.05 } Dropout设为0.5，隐层结点数为32，经过两次全连接后，最终将输出两种结果。

 图4-2 基于EEG的CNN-LSTM模型

图4-3 三种模型分类结果对比 

4.4 基于EEG的BN-CNN-LSTM模型 

 大脑是人类大脑的最大部分，并进一步分为左右半球，每个半球都有四个瓣:额叶，颖叶，枕叶和顶叶，利用PLV方法可以对脑电数据进行切分和截取，保留下对我们进行情绪分类更加有用的数据

图4-4 利用PLV方法处理脑电数据 

 图4-5 基于EEG的BN-CNN-LSTM模型

---

五、结论与创新点

        在本文中我们对预处理后的脑电信号数据不再进行人工特征提取，而是直接利用深度神经网络自动进行特征提取和分类。本文构建的用于脑电数据特征提取和分类模块共包括4个模型，分别为:CNN模型，LSTM模型，CNN-LSTM模型和BN-CNN-LSTM模型。

        BN-CNN-LSTM模型的构建主要是为了解决脑电信号采集过程中被试无法全程投入到情绪当中的问题提出来的，首先通过构造脑电信号实时脑网络，用于记录信号采集过程中情绪开始和结束的变化。根据实时构建的脑网络的变化对脑电信号进行切分和舍取，将截取下的脑电信号数据送入上述提出的CNN-LSTM网络模型进行分类。在本文脑电信号情绪分类中，效果最好的是BN-CNN-LSTM模型。

        实验结果表明，CNN模型在信号特征提取方面有非常好的效果，并且LSTM模型可以充分学习EEG信号的时序特征，在这些基础上也证明脑网络变化对情绪产生的时刻有着参考作用，有利于对情绪分类的研究。

六、可参考点及获得思路

1、作者充分结合两种深度学习网络的优点(CNN自动提取脑电特征的能力和LSTM利用脑电信号的时间序列信息的能力)来设计模型，省去了人工提取特征的步骤，可以借鉴。

2、在CNN模型构建时考虑到一个模型训练学习率的概念，学习率过大的话可能会使分类结果陷入局部最优，过小的话又会得不到最好的结果。通过不断的实验，最终选择卷积神经网络训练学习率为0.0010

3、构造LSTM模型时，就LSTM的层数和隐结点的个数设置需要进行恰当的选取。通常较大的神经元数量会导致模型训练陷入过拟合的状态，而较少的神经元数量又会导致模型训练陷入欠拟合的状态。在满足精度要求的前提下设计出尽可能少的LSTM层数和隐形结点数。使用Adam算法进行参数优化；使用dropout方式防止过度拟合

4、EEG信号非常微弱，且脑电信号在某些时期没有包含有效的情绪信息。在这篇文献中，作者采用构建脑网络的方法动态地获取情绪产生和结束的时间，以判断被试何时发生情绪变化。

本篇文献详细信息：