（论文加源码）基于时频域特征分析和SVM分类器的DEAP脑电信号情感状态识别（matlab代码）（四分类）

论文和源码见个人主页：https://download.csdn.net/download/qq_45874683/85069822

（论文加源码）（matlab代码）基于时频域特征分析和SVM分类器的DEAP脑电信号情感状态识别（四分类）

摘要

        情绪识别是近年来研究的一个重要领域。情感识别的应用在包括教育和研究在内的各个领域都留下了优异的成绩。传统的方法使用面部表情或语音语调来检测情绪，然而，面部手势和口语可能会导致偏见和模糊的结果。这就是为什么研究人员开始使用脑电图（EEG）技术，这是一种定义良好的情绪识别方法。有些方法使用信号处理领域的标准和预定义方法，有些方法使用更少的通道或更少的受试者来记录EEG信号，以便进行研究。

        提出了一种基于时频域特征的情绪检测方法。使用Box-and-whisker plot（箱线图）选择最佳特征，然后将其输入SVM分类器，用于训练和测试DEAP数据集，其中考虑了32名不同性别和年龄组的参与者。实验结果表明，该方法对测试数据集的准确率为92.36%。此外，所提出的方法比最先进的方法表现出更高的准确性。

至于什么是Box-and-whisker plot（箱线图），可以自己去查：What is a Box and Whisker Plot? - When to Use Box Plots | ASQ

---

当前研究的不足：

        在众多研究中，实验仅限于极少数受试者，但针对单个受试者实施的方法没有得到充分简化，无法广泛用于多个受试者。许多研究仅限于少数通道，以避免高复杂性和计算成本。然而，由于缺乏足够的信息，这可能会导致不好的结果。对于特征提取过程，在之前的研究中使用了不同的方法来检索特征，这些方法包括样本熵、自回归（AR）模型、离散小波变换（DWT）和快速傅立叶变换（FFT）。研究人员使用各种分类器对这些提取的特征进行分类，如支持向量机（SVM）、神经网络和k-最近邻（KNN）。

---

主要目的：

        参考前面提到的问题，提出了一种新的基于时频分析的情绪识别方法，并用来自DEAP数据集的EEG信号进行了评估。在提出的模型中，最初只检索来自前额叶皮质的EEG信号，以便进行进一步的工作，因为情绪活动主要发生在大脑的额叶和颞叶。此外，这还减少了特征提取方法中要使用的通道总数，因为不相关的通道已经被预先丢弃。这会降低计算成本，从而提高我们技术中使用的算法的效率。使用频带的现有方法提取了所有五种类型的频带，即δ（0.5-4 Hz）、θ（4-7 Hz）、α（7-13 Hz）、β（13-30 Hz）和γ（30-60 Hz）。根据最先进的方法，大脑的情绪和认知活动可以通过α（7-13 Hz）、β（13-30 Hz）和θ频段来更好地表现。因此，本文考虑了这些特定的谱带。该数据集被分为四个情绪象限，即高觉醒-高价（HAHV）、低觉醒-高价（LAHV）、低觉醒-低价（LALV）和高觉醒-低价（HALV）。然后对每个特定象限中的数据集对所有参与者的特定情绪进行平均。根据象限对样本进行平均的原因是参与者感受到的情绪不一致。并非所有参与者对特定视频都有相同的情绪，这表明EEG信号中的一些样本是异常的，因此会极大地影响最终结果。平均的前提是减少数据偏差，并在统计上接近实际值。这一假设可能会提高分类过程的准确性。最后，将频域中提取的统计特征输入SVM分类器，对情绪进行分类。

---

提出的方法

        图所示的模型代表了我们工作的总体流程。本研究首先对脑电信号进行数据增强，然后进行数据预处理。接下来，从预处理的数据中提取特定频率的频带。随后，提取合适的特征并选择输入分类器。最后，使用SVM分类器对这些特征进行分类。

---

数据预处理

数据处理：

        作为波段提取的第一步，首先对数据进行重新排列，使其适合提取过程。我们的工作使用了来自DEAP数据集的预处理数据，之前的研究表明，与情绪相关的信息主要集中在大脑的额叶和颞叶区域。然而，为了降低我们提出的方法的计算成本，我们只处理与大脑额叶相关的通道，这些通道是Fp1、F3、F7、FC5、FC1、Fp2、Fz、F4、F8、FC6和FC2。从3D矩阵中进行分类和特征提取非常困难，因为很难按照我们的要求处理数据。因此，预处理的数据被分类为40个文件，每个文件代表DEAP数据集中使用的音乐视频。每个视频文件包含一个大小为8064x352的数组，其中行表示数据长度，列表示32个参与者的通道总数。

波段提取

        用于我们研究的脑电信号是时域的。已有研究表明，为了更准确地识别情绪活动，在频域中提取特征。这是通过对时域信号应用FFT实现的。正如前面所讨论的，情绪活动会导致大脑以波的形式产生信号。这些信号可细分为5个频段，与情绪活动存在相关性。这5种不同类型的频带由δ、θ、α、β和γ组成。如[21]所述，α、β和θ比其他两个频带更能代表大脑的情绪和认知过程。这就是为什么在对脑电信号进行FFT处理后，我们使用Butterworth带通滤波器提取了这3个频带。

特征提取

        据估计，每个视频都可以放在4个情绪象限中的任意一个，即HAHV、LAHV、LALV和HALV，如图所示。个体对特定视频的反应可能不同，这可能导致EEG信号中存在不规则样本。这些错误样本需要排除在每个象限之外，以尽量减少样本中的不一致性。在我们的研究中，为了减少数据偏差，视频提取的波段值根据其对应象限以及特定情绪进行平均，如表所示。

         在按照象限对视频进行排序并平均每个象限中所有视频的波段后，创建了4个视频文件，其中仅包含提取波段的平均值。这些波段值被进一步缩放，这样SVM分类器就不会受到大波段值的影响。一旦对频带值进行缩放，就可以提取输入信号的特征。在我们的工作中，我们根据位置或中心趋势（统计特征I）、离散或扩散（统计特征II）和分布形状（统计特征III），提取了统计特征最小值、最大值、方差、标准偏差、波熵、功率带宽、偏斜度和峰度，如表4所示。

---

情绪分类

        在已有的研究中，已经有很多机器学习算法，而支持向量机是最有效的情感分类分类器之一。支持向量机的基本概念是确定一个决策超平面，以便将数据样本分为两类。区分两个组的最佳超平面是通过最大化两个类的最近数据点和超平面之间的距离来确定的。分类程序包括通过使用称为k-折叠交叉验证的技术，将样本数据划分为训练集和测试集，分别用于训练和验证，从而预测混淆矩阵模型。这种技术将数据随机分成k个相等的数据子集，并重复10次。每次，其中一个k子集被用作测试集，其他k-1子集被放在一起形成一个训练集。本文使用不同的特征组合对SVM分类器进行训练和测试，以生成混淆矩阵模型。然后，根据k-折叠交叉验证，使用该模型确定准确度。在这里，我们将支持向量机与10倍交叉折叠验证相结合，使用网格搜索方法选择参数、核和正则化。为了实现SVM，使用了LIBSVM库，这是一个广泛使用的支持向量机库。

---

结果与分析

        对统计特征进行分类以获得合理的结果并非易事。在得出结论之前，需要考虑各个方面，因为最初的试验没有产生令人满意的结果。在本文中，通过网格搜索方法选择正则化和核参数，将10倍交叉验证与支持向量机分类器相结合。为了确定分类技术的k-折叠交叉验证的准确性。

acc公式定义为：

        在一开始，在根据相应的象限对提取的频带值进行平均之前，表4中的所有统计特征立即输入到SVM分类器中。它们被用来训练和测试支持向量机，并以特定的最终目标构建混淆矩阵模型。然后，根据10倍交叉验证，使用该模型确定准确度。然而，第一次试验并没有提供预期的结果，因为准确率仅为2.03%。这是因为在平均数据之前，特征不包含可区分的特征，如图3所示。（统计特征的箱线图：（a）平均前，（b）平均视频数据后）

        然后，我们根据波段值的象限对其进行平均，以减少数据偏差并提高分类过程的准确性。一旦对数据进行了平均，这些数据就会被缩放，并再次提取统计特征。这些特征再一次被输入分类器。这一次，分类的准确率显著提高，从2.03%大幅提高到32.14%。

        表5总结了平均所有特征数据前后的准确率百分比。从表中可以看出，在平均数据之前，这些特征并不能提供令人满意的结果，因为并非所有参与者对特定类别的视频都有相同的情感。因此，由于每个象限的数据不规则，SVM分类器无法创建我们预期的模型。

        即使在对波段值进行平均后，分类精度提高了一定程度，但仍然无法提供预期的输出。随后，我们重建了箱线图，以分析从图3（b）中可以看到的每个特征，但这次是在根据相应象限对数据进行平均后。当数据相对于其等效象限进行平均后，来区分每个特征，如图3（b）所示。从图中可以观察到，特征偏度、峰度和波熵的数据可以很容易地相互区分，因为这些数据不重叠，并且存在显著偏差。由于这两个特性包含显著的可区分特性，因此特性偏斜和功率带宽的情况也类似。另一方面，均值、方差和标准差之间的特征相对偏离，但大多数数据仍然重叠。此外，可以看出，特征最小值、最大值和方差的差异并不像数据中的偏差那么显著。基于上述参数，我们将所有特征分离为以下组合：

1） 特征组合A：均值、标准差、方差。

2） 特征组合B：偏度、峰度、波熵。

3） 特征组合C：最小值、最大值、方差。

4） 特征组合D：偏斜，功率带宽。

        据观察，如表6所示，分类准确度显著提高。可以注意到，组合B提供了更好的结果，象限HAHV_LALV的准确率为92.36%，象限HALV_LAHV的准确率为89.11%，而组合C提供的结果最少，象限HAHV_LALV的准确率为11.23%，象限HALV_LAHV的准确率为15.69%

         特征组合B提供更好结果的原因是，当数据显著偏离时，特征偏度、峰度和波熵的样本可以很容易地相互区分（见图3（B））。同样，基于同样的原因，特征组合D的精度似乎也令人满意。另一方面，由于数据的重叠和相似性，特征组合A和C不能提供令人满意的结果。这会影响SVM分类器生成混淆矩阵模型，该模型无法描述更好的精度。通过观察上述结果，我们可以得出结论，分布的形状可以很好地代表大脑的情绪活动，从而为分类提供了更好的准确率。由于DEAP是一个公共数据集，我们进一步比较和分析了现有的方法，这些方法已经使用了DEAP数据集来识别情绪。

        表7展示了使用DEAP数据集进行情绪识别的一些现有方法。它还提供有关识别的情绪、提取的特征以及每种方法对情绪分类的准确性的信息。可以观察到，大多数现有的方法提取了不止一种类型的特征，很少识别出两种以上的情绪。然而，在我们的工作中，在特征提取过程中只考虑了统计特征，并且只识别了两种情绪状态，即效价和觉醒。此外，从表中还可以看出，现有方法的准确度限制在80%以内，而我们提出的方法的准确度约为92.36%。因此，可以说，我们的方法在情感分类方面比许多现有方法更有效。

---

 结论：

        本文利用DEAP数据集预处理的脑电信号对两种维度进行四分类，即效价和觉醒。首先通过应用FFT将数据集中的样本从时域转移到频域，然后提取对情绪识别特别重要的α、β和θ频带。随后，根据每个情绪对应的象限对提取的频带进行平均，并使用平均频带值提取统计特征。然后，对提取的特征进行缩放，并将各种特征组合输入支持向量机分类器（SVM）进行情感识别。据观察，我们的方法使用偏度、峰度和波熵特征预测情绪，准确率为92.36%。与现有的DEAP数据集方法相比，我们提出的模型显示了更好的结果。

---

论文和源码见个人主页：https://download.csdn.net/download/qq_45874683/85069822

（论文加源码）（matlab代码）基于时频域特征分析和SVM分类器的DEAP脑电信号情感状态识别（四分类）