【文献阅读】4-Data Augmentation for EEG-Based Emotion Recognition with Deep Convolutional Neural Net-2018

摘要

本文针对脑电信号的情绪识别数据集数据较少的问题，提出了一种数据增强的方法在对浅层和深层，一共三个学习模型进行使用前后的对比测试，对情绪进行三类划分。

关键词

Emotion recognition, Data augmentation, EGG

背景

  情绪识别基于两个大类进行，一个是基于它自身的特征，如：脸部表情，声音的语调，身体姿势等；而另一种则是基于生物信号，如：EGG，ECG，脉搏跳动的频率，呼吸信号等。基于生物信号的情绪识别相对于基于特征的情绪识别，更能处理更加细节和复杂的信息，得到更加有效和可靠的结果。

目前，公共的情绪识别的EGG数据集有限，并且收集成本高，但深度学习模型需要大量的测试样本，在这种供不应求的情况下，引入了数据增强的方法。

创新点

提出了基于EGG的情绪识别方法
提出了添加高斯噪声的数据增强方法，来生成更多的EGG训练样本

方法

基于EGG的情绪识别方法，一般分为两步：特征提取和情绪分类。

特征提取

1.1 获取微分熵特征(DE)，时间序列X服从高斯分布

1.2 假设EEG信号用n通道记录，并且EEG信号段的长度为ls
1.3 首先使用带通滤波器获每个信道的5个频段，delta (1– 3 Hz), theta (4– 7 Hz), alpha (8– 13 Hz), beta (14– 30 Hz), gamma (31– 50 Hz)；
1.4 使用256点的短时傅里叶变换和1s的Hamming 窗口以此来获取每个频带的能谱；
1.5 通过计算对数能谱来获取每个频带的DE特征，每个特征样本大小为：n x l x 5.

情绪分类

使用三类机器学习模型作为分类器，SVM，LeNet，ResNet

• SVM：使用LIBSM工具包，浅层网络，线性核+网格优化，使用5个频段

• LeNet：使用MATCONVNE工具包，使用5个频段

• ResNet：使用MATCONVNE工具包，使用3个频段

  数据增强的方法，分为两种：一种是geometric transformation，如：shift，scale， rotation，reflection；还有一种是noise addition。但是geometric transformation 不适合具有随机性和非稳定性的EGG信号，而且获取的特征依旧是一个时间序列。所以选用noise addition，而noise：Gaussian，Poisson，Salt，Pepper等，除了Gaussian是全局的，后是三种噪声是局部噪声。所以选用高斯噪声加入到特征样本中去。
  

高斯随机变量Z的概率密度函数
高斯的均值设为0，标准差设为0.001，0.01，0.02，0.1，0.5；m参数表示增强的倍数，m=1表示未加入数据增强。

情绪分类类型：negative，neutral，positive

实验

1. 在两个数据集上面 SEED 和 MAHNOB-HCI 进行测试
2. 在SEED上，SVM-PCA+SVM-LeNet-ResNet-without data augmentation 和 SVM-PCA+SVM-LeNet-ResNet-withdata augmentation进行对比实验
3. 在MAHNOB-HCI上，进行with data augmentation，均值设为0，数据增强度为30，SVM和ResNet标准差分别设置为0.2和0.01。
4. 评价指标为Accuracy

得到的结论：降维对SVM的精度影响为下降，同时在不用数据增强时，SVM比深度学习网络模型识别效果要好，说明SVM对样本的数量不是很敏感。

在LeNet加入数据增强后，平均识别精度在高斯随机变量的标准差为0.2时，数据增强度为30时最高。

High frequency : alpha, beta, and gamma
Low frequency：elta, theta, and alpha

结论与不足

浅层网络在数据增强前后表现不是很明显，但是数据增强对深层网络能够有效的提高识别精度。未来，还想对更多的深度模型，选用其他的数据增强方法来进行验证本文方法的普遍性和有效性。
我的思考：
对于情绪分类的类型是否太少？
对于模型的交叉验证是否太少？

参考

参考文献
[1]: 原文