AbsAbstract: For EEGsed emotion recognition tasks, there are many irrelevant channel signals contained in multichannel EEG data, which may cause noise and degrade the performance of emotion recognition systems. In order to tackle this problem, we propose a novel deep belief network (DBN) based method for examining critical channels and frequency bands in this paper. First, we design an emotion experiment and collect EEG data while subjects are watching emotional film clips. Then we train DBN for recognizing three emotions (positive, neutral, and negative) with extracted differential entropy features as input and compare DBN with other shallow models such as KNN, LR, and SVM. The experiment results show that DBN achieves the best average accuracy of 86.08%. We further explore critical channels and frequency bands by examining the weight distribution learned by DBN, which is different from the existing work. We identify four profiles with 4, 6, 9 and 12 channels, which achieve recognition accuracies of 82.88%, 85.03%, 84.02%, 86.65%, respectively, using SVM.
摘要：在基于脑电信号的情感识别任务中，多通道脑电信号中存在许多不相关的信号通道，这可能会导致噪声，并降低情感识别系统的性能。为解决这一问题，本文提出了一种新的基于深度信念网络（Deep Belief Network, DBN）的关键通道和频段检测方法。首先，设计情感检测实验，收集被试观看电影片段时的脑电信号。然后，用提取的微分熵特征作为输入，训练DBN网络以识别三种情绪（积极、中性和消极），并将DBN与其它浅层模型（如KNN，LR和SVM）的分类结果进行比较。实验结果表明，DBN分类方法达到86.08%的最佳平均识别率。与现有工作不同，我们通过DBN的权重分布来进一步探索影响情绪识别结果的关键通道和频段。以SVM为分类器，分别利用4，6，9，12个不同的通道数据进行识别，其识别准确率分别为82.88％，85.03％，84.02％，86.65％。
1. 引出主题（Introduction）
在情感识别的各类方法中，相对于基于面部表情和手势等其它外观特征的情感识别方法而言，脑电图（EEG）方法因其具有更高的准确性和客观评价性而显得更加可靠。然而，在EEG信号的采集过程中往往会引入很多的噪声信息。另外，采集的多通道脑电信号中存在许多与情感识别无关的信号通道，它们的存在可能会降低情感识别系统的性能。因此，研究情感识别的关键通道和频带可以从根本上帮助我们深入理解情感识别系统的处理机制，并找到人类大脑中与不同情感相关的神经特征。
本文的工作：在本文中，我们以带有特定情感的电影片段作为刺激，提出了一种基于深度信念网络（DBN）的关键通道和频带选择方法。通过检测DBN网络学习权重的分布情况，我们确定了情感识别系统的关键通道和频带，并设定了四个不同的电极组合，均达到了较好的情感识别效果。
2. 系统结构与研究方法（Methods）
2.1 特征提取
本文首先对原始EEG数据进行降采样（200Hz）处理，然后用0.3~50Hz的带通滤波器进行滤波，以滤除噪声和伪迹干扰。之后，使用一个包含512个采样点的短时傅里叶变换来提取脑电信号的五个频带（delta：1-3Hz，theta：4-7Hz，alpha：8-13Hz，beta：14-30Hz，gamma：31-50Hz），并计算每个频带的微分熵（differential entropy, DE）作为情感识别的特征信息。
2.2 分类器
本文以深度信念网络（DBN）为情感识别分类器（有关深度信念网络的相关介绍可参考前一篇论文笔记（论文笔记---EEG-Based Emotion Classification Using Deep Belief Networks，https://blog.csdn.net/cratial/article/details/79961944）。除了DBN以外，本文还采用KNN、LR和SVM分类器进行识别效果对比分析。
3. 实验设计（Experiments）
本文使用带有特定情感的电影片段作为诱发刺激，因为它们是一种可靠且高效的刺激方式。
3.1 情绪刺激影片
针对三种情绪（积极、中性、消极），我们分别选择了5个中文电影片段（比如，唐山大地震、泰囧、世界遗产在中国），每个片段时长约为4分钟。
3.2 被试
15名被试（7名男性和8名女性，平均年龄23.27，视力正常或矫正视力正常和听力正常）参与了该实验。
实验场景如下图所示：
3.3 数据采集
根据国际10-20系统，使用ESI NeuroScan设备从62通道电极帽以1000Hz采样率记录被试在观看电影片段时的脑电信号。
单次实验包含15个电影片段（三类情感各有5个片段），在每个片段开始之前有5s的提示时间，片段结束之后有45s的信息反馈时间（被试根据产生特定情绪的程度进行打分），休息15s后开始下一个片段的测试。每名被试参与实验2次，2次实验之间间隔约为一周。
4. 实验结果与分析（Results and Discussion）
对于训练和测试，来自一次实验的前9个电影片段的数据被用来训练模型，其余6个电影片段的数据用于模型测试。
以5个频带的微分熵（DE）特征为输入，KNN，LR，SVM和DBN的分类精度均值和标准差分别为72.60/13.16％，2.70/10.38％，83.9/9.72％，86.08/8.34％。从分类结果可以看出，DBN分类器的分类精度均值最高，且标准差最低，分类效果优于KNN，LR和SVM。
根据神经网络的训练算法，对于学习任务贡献更多的神经元，其权重将被更新为较大的值，而无关神经元的权重倾向于随机分布。下图显示了模型训练完成后DBN网络中第一层神经元的绝对权值分布。从图中可以看出，尖峰主要位于beta和gamma频带，这表明beta和gamma频带的特征成分包含更重要的区分信息。
为寻找关键通道，我们将平均权值分布投影到脑地形图上，不同频带下，脑区的权值分布如下图所示。
从图中可以看出，侧颞叶和前额叶脑区的β和γ频带明显比其它脑区的激活程度要高，说明这些脑区的电极为关键通道，其在深度网络中的贡献程度比其它脑区的电极要多一些。
根据尖峰权重的分布特性和情感处理的非对称性，我们设计了四种不同组合的电极布局形式，如下图所示。
下图显示了以SVM为分类器，不同通道组合在各频带下的平均分类精度。4通道，6通道，9通道和12通道的最佳分类精度均值和标准差分别为82.88/10.92％，85.03/9.63％，84.02/10.34％和86.65/8.62％，而62通道的最佳分类精度均值和标准差为83.99/9.72％。
这些结果表明，选定的关键通道包含了大多数用于情感识别的判别信息，并且通过关键通道进行训练可以提高分类效果。
5. 结论与分析（Conclusion）
本文提出了一种基于DBN的关键通道和频段检测方法，并以微分熵（DE）为特征，DBN为分类器实现了对积极、中性和消极三种情感的识别。实验结果表明，在情感识别任务中，外颞叶和前额叶脑区的电极为关键通道，β和γ波段为关键频带。
文章以微分熵为特征，通过对深度信念网络（DBN）的权重分布进行研究，找到了能够显著影响情感识别效果的关键频带，进一步将其映射到脑电地形图上上找到了关键通道。文章的实验结果是基于微分熵特征得到的，还需验证运用其它特征提取方法时，结果是否一致。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
