论文笔记---EEG-Based Emotion Classification Using Deep Belief Networks

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6890166

Abstract：In recent years, there are many great successes in using deep architectures for unsupervised feature learning from data, especially for images and speech. In this paper, we introduce recent advanced deep learning models to classify two emotional categories (positive and negative) from EEG data. We train a deep belief network (DBN) with differential entropy features extracted from multichannel EEG as input. A hidden markov model (HMM) is integrated to accurately capture a more reliable emotional stage switching. We also compare the performance of the deep models to KNN, SVM and Graph regularized Extreme Learning Machine (GELM). The average accuracies of DBN-HMM, DBN, GELM, SVM, and KNN in our experiments are 87.62%, 86.91%, 85.67%, 84.08%, and 69.66%, respectively. Our experimental results show that the DBN and DBN-HMM models improve the accuracy of EEG-based emotion classification in comparison with the state-of the-art methods.

摘要：近年来，在使用深度网络进行无监督的数据特征学习方面取得了巨大的成功，特别是对于图像和语音。在本文中，我们提出了运用深度学习模型基于脑电数据实现对两种情绪（积极和消极）的分类。我们以从多通道脑电图中提取的微分熵（Differential Entropy, DE）特征作为输入，训练了一个深度信念网络（DBN）。隐马尔可夫模型（HMM）作为辅助方法用于获得更可靠的情感转换状态。我们还将深度模型的分类性能与KNN，SVM和Graph正则化极限学习机器（GELM）的分类性能作了比较。在我们的实验中，DBN-HMM，DBN，GELM，SVM和KNN的平均识别率分别为87.62％，86.91％，85.67％，84.08％和69.66％。 我们的实验结果表明DBN和DBN-HMM模型相比于最先进的方法而言，提高了基于EEG的情感识别的准确性。

1. 引出主题（Introduction）

在情感识别的各类方法中，相对于基于面部表情和手势等其它外观特征的情感识别方法而言，脑电图（EEG）方法因其具有更高的准确性和客观评价性而显得更加可靠。然而，由于信噪比（SNR）较低，即使对神经生理学家来说，“手动”分析脑电信号通常也是十分困难的。最近在机器学习社区开展的深度学习方法实现了自动特征提取和特征选择，并消除了提取手工特征的限制。

本文的工作：在本文中，我们将的深度学习模型引入基于脑电的情感分类。本文的主要贡献如下：首先，我们发现在β和γ频段中确实存在与积极和消极情绪相关的神经特征。其次，我们证明了从脑电数据中提取的微分熵（DE）特征具有准确和稳定的情感信息。最后，本文比较了深度模型和浅层模型如KNN、SVM和GELM分类器之间的识别性能。此外，与现有最先进的分类方法相比，DBN-HMM模型的分类性能更好。

2. 系统结构与研究方法（Methods）

下图显示了本文用于情感识别的五个不同的子系统，在从多通道EEG数据中获得特征信息后，我们用不同的分类器构建了多个情感识别模型。

2.1 微分熵（Differential Entropy, DE）特征提取

微分熵扩展了香农熵的思想，并用于测量连续随机变量的复杂性。研究表明，对于固定长度的脑电信号，微分熵相当于一定频段内的对数能量谱。所以可以在五个子频段（δ: 1-3hz, θ:4-7hz, α: 8-13hz, β: 14-30hz,γ: 31-50hz）内计算微分熵。由于脑电数据在高频能量上具有较高的低频能量，DE因而具有区分低频和高频能量脑电图的平衡能力。

对于一个特定的脑电图序列，我们使用一个1s长的非重叠Hanning窗和一个包含512个采样点的短时傅里叶变换来提取原始脑电信号的五个频带信号，并计算每个频带的微分熵。

2.2 基于DBN和HMM的分类器

DBN是通过将预定义的有限玻尔兹曼机（RBM）堆叠在一起而构成的，其中较低级RBM的输出是较高级RBM的输入，如下图所示。

本文运用一种贪婪分层算法对每层网络进行预训练。

基于脑电的情绪识别实际上是一种序列模式识别，并且情绪状态变化缓慢。因此，我们结合DBN和HMM生成一个DBN-HMM识别模型。基于动态编程操作的HMM可以帮助移植静态分类器的性能来处理动态或序列问题。结合DBN和HMM可以帮助缩小静态和序列模式识别之间的差距，该方法已成功地应用于基于脑电的睡眠分级检测。

3. 实验设计与结果分析（Experiments and Analysis）

3.1 实验设计

3.1.1 情绪刺激影片

我们选择一些带有特定情感的电影片段来帮助受试者产生需要的情感状态。总共有12个片段（6个带有积极情绪，6个带有消极情绪），每个片段持续时间约为4分钟。

3.1.2 被试

6名被试（3名男性，3名女性，视力正常或矫正视力正常和听力正常）参与了该实验，每名被试参与实验2次，2次实验之间间隔一周以上。

3.1.3 数据采集

根据国际10-20系统，使用ESI NeuroScan系统从62通道电极帽以1000Hz采样率记录脑电信号，同时记录眼电信号，并采用压力传感器记录实验中受试者的反应。

下图显示了详细的实验流程

3.2 实验结果与分析

3.2.1 微分熵特征

单次实验的DE特征图下图所示

研究表明，较高频率的大脑活动（beta、γ）反映了情绪和认知过程。如图所示，高频振荡反映了积极和消极任务下脑电信号的不同响应模式，这对情绪识别非常有用。

3.2.2 实验结果

对于训练和测试，来自一次实验的前八个阶段的数据被用来训练模型，其余四个阶段的数据用于模型测试。

下表列出了6位被试的12次实验数据在以DE为特征，使用不同分类器和频带条件下的识别结果。KNN，SVM，GELM，DBN和DBN-HMM的精度平均值和标准偏差分别为69.66/19.80，84.08/9.66，85.67/9.37，86.91/7.62，87.62/7.48。

结果表明，DBN-HMM和DBN模型比其它模型具有更高的平均准确度和更低的标准偏差。从表的平均精度和标准偏差可以看出，GELM在低频特性方面的表现优于其它分类器，DBN在高频特性和综合所有频率特性方面表现更好。这表明DBN能够进行特征选择，去掉不相关的特征以获得更好的结果。

下图为不同频带与不同分类器结合的平均识别率

从表和图可以看出，Gamma和Beta频段的表现比其他频段更好。结果表明，大脑活动的β和γ振荡比其他频率振荡更相关。

下图显示了一位被试的单次实验数据在采用不同分类器进行识别时的混淆矩阵。

4. 结论与分析（Conclusion）

本研究基于脑电图来测量大脑活动，并使用机器学习方法来准确地识别个人情绪。本文将深度学习（DL）应用于脑电数据以建立可靠的情感识别模型。本文还将深度网络模型与KNN，SVM和GELM的分类性能进行了比较。
本文以脑电数据为基础，采用微分熵特征信息，引入深度网络进行识别，达到了较好的情感识别效果。文章中引入深度神经网络，就需要考虑样本量的问题，根据本文实验设计，显然用于训练和测试的样本数据还是不够的。