论文解读---基于脑连接与空间信息运用卷积神经网络实现的脑电情绪识别

论文地址：Convolutional Neural Network Approach for EEG-Based Emotion Recognition Using Brain Connectivity and Its Spatial Information

本文提出了一种基于卷积神经网络（CNNs）的深度学习方法，用于基于脑电图（EEG）的情绪识别研究。特别地，本文在深度学习模型中引入了大脑连接特征（brain connectivity features），该特征可用于解释不同大脑区域的同步激活现象。此外，本文还提出了一种可以有效地捕捉非对称大脑活动模式的方法。最后，作者在DEAP脑电情绪数据集上展开实验，证明了本文方法对于情绪识别的有效性。

一、研究动机

1.1 传统特征提取方法忽略了信号来源之间的空间信息

大多数现有基于脑电信号的深度学习情绪识别方法，均将原始脑电信号直接输入深度模型，或先提取功率谱密度(PSD)和微分熵等特征以作为模型输入。无论何种方法，它们均忽略了脑电电极在头皮上的空间分布信息。然而，这些信息在脑电信号中提供了重要的区分模式，有助于补偿脑电信号较差的信噪比。已有研究表明，PSD特征的二维图像表示可提高心理负荷分类问题的性能[2]。

1.2 不同信号之间的相关性亦有助于情绪识别

现有研究的另一个不足是，只考虑了单个独立电极的信号或特征。然而，来自神经科学领域的研究表明，不同电极之间的关系也能为脑功能研究提供重要线索[3, 4]

二、研究方法

从上述研究动机出发，作者提出了一种基于卷积神经网络的脑电情绪识别方法，旨在通过卷积操作将脑电电极的空间信息和电极之间的相互信息结合起来，促进情绪识别效果。

2.1 数据集描述与预处理

本文实验所用数据集为DEAP，包含32位被试，每位被试均观看40个长度为1分钟的视频，并同步通过32通道的信号采集设备获得脑电信号。本文基于valence维度构建了一个二分类任务，将valence评分小于5的样本划分为low valence类，其余样本划分为high valence类。在数据预处理过程中，本文以时间窗口长度为3s，窗口重叠长度为2.5s的划分方法将每个片段的脑电信号划分为多个实验样本，每位被试在单个刺激片段下的样本数为115。与以往研究不同，为获得足够多的的样本数据用于深度神经网络训练，本文采用5折交叉验证法将原始样本随机划分为5个大小相同的子集，再采用留一交叉验证法进行实验。单个样本的脑电信号进一步被划分为10个子频带用于分别提取特征信息：delta (0-3 Hz), theta (4-7 Hz), low alpha (8-9.5 Hz), high alpha (10.5-12 Hz), alpha (8-12 Hz), low beta (13-16 Hz), mid beta (17-20 Hz), high beta (21-29 Hz), beta (13-29 Hz), and gamma (30-50 Hz).

2.2 特征提取

单电极激活水平：首先，计算所有子频带的PSD特征，并在各子频带下绘制大小为32×32的脑地形图（没有电极位置的区域进行插值填充），因此，单个脑电图信号样本的特征可表示为32×32×10的矩阵

电极间的连接水平：本文以皮尔逊相关系数(PCC)、锁相值(PLV)和相位滞后指数(PLI)三种连接特征来计算电极间的连接水平。

本文将连接特征转化为一个32×32的连接矩阵，其中(i,j)-th元素表示电极i-th和j-th之间的连接特征。电极的排列顺序很重要，因为CNN中的局部滤波器试图学习连接矩阵中相邻值间的模式。由于体积电导效应的影响，两个相邻电极的电信号趋于相似，因此本文采用了两种考虑电极空间排列的方法，如图1所示。其中，编号顺序即为连接矩阵中电极的空间排列顺序，图（a）考虑了半脑限制，图（b）没有考虑此限制条件。此外，为了验证电极排序的效果，本文还设置了随机设定的电极排序实验作为对照组。

                           

2.3 分类器

本文设计了三种不同结构的CNN模型用于实验。CNN-2：仅包含1个卷积层和1个最大池化层。CNN-5：在CNN-2后面添加了2个卷积层和1个池化层。CNN-10：有5个卷积层和5个最大池化层，即一个卷积层后面跟着一个池化层的结构重复5次。在所有CNN结构后都附加了一个包含256个隐藏节点的全连通层来获得输出。

三、实验结果及分析

表1显示了在5折交叉验证方法下，特征类型、排序方法和CNN结构的每种组合下所获得的平均分类精度。总地来说，连接性特征的识别准确率比PSD特征高。CNN-5结合以dist2方式（未考虑半脑限制）进行电极排列的PLV连接矩阵获得了最佳分类准确率(99.72%)。这说明在连接矩阵中，将来自不同半脑的电极放置在相邻的列和行中是很重要的。笔者对于这一结论表示怀疑，虽然最佳分类准确率是在dist1方式下获得的，但总体来看，两种电极排列方式下的识别准确率是不相上下的。特别地，在PLI连接特征下，dist1的识别效果均优于dist2。

                            

以往的研究报道了大脑活动的不对称模式与情感状态之间存在的显著关系，基于此，不对称性被认为是情感的重要描述特征。这种不对称性可以反映在连接特征上；简单地说，如果大脑被不对称地激活，大脑半球内部的连接就会变得相对较高，而半球之间的连接就会变得相对较低。

图2描述了半脑内和半脑间连接特征的位置。使用dist1方法时，第一层卷积的感受域大部分包含半脑内或半脑间连接的信息(图2a中的蓝色和红色方块)。在这种情况下，半球之间和半球内的连接很少包含在一个感受域内(图2a中的绿色方块)。相反，在使用dist2方法时，不同类型连接的组合更频繁地出现在单个感受域内(图2b中的绿色方块)。这说明通过CNNs中的卷积操作可有效地处理非对称活动模式。

  

为了分析所提模型的特征提取性能，本文使用PLV-dist2和PSD对CNN-5训练模型的第1个卷积层的权值进行可视化，如图3所示。与图3b不同，图3a滤波器的权重几乎相同，这些滤波器对从输入数据中提取有用的特征没有多大帮助。相反，PLV提供了关于大脑活动的丰富信息。

总结

本文提出了一种新的基于神经网络的脑电图情绪识别方法，主要研究了如何将连接特征表示为矩阵，并对连接矩阵中电极的排列顺序进行了研究。实验证明，利用脑连接特征的分类方法相对于传统PSD特征而言，能够提高识别准确率。此外，连接特征矩阵中的电极排列顺序确实对情绪识别结果有影响，但从本文所取得的实验结果来看，很难说明受半脑限制的电极排列顺序的方式（dist2）比另两种方式（random和dist2）更好，后续可基于此进行改进研究。

参考文献

1. Moon S E, Jang S, Lee J S. Convolutional neural network approach for EEG-based emotion recognition using brain connectivity and its spatial information[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 2556-2560.
2. Bashivan P, Rish I, Yeasin M, et al. Learning representations from EEG with deep recurrent-convolutional neural networks[J]. arXiv preprint arXiv:1511.06448, 2015.
3. Friston K J. Functional and effective connectivity: a review[J]. Brain connectivity, 2011, 1(1): 13-36.
4. Sakkalis V. Review of advanced techniques for the estimation of brain connectivity measured with EEG/MEG[J]. Computers in biology and medicine, 2011, 41(12): 1110-1117.

更多与脑机接口和情绪识别相关的论文解读请访问专业论文解读与分享平台PaperWeekly.