利用电生理信号进行情绪识别的多模态机器学习方法

摘要

本研究探索了一种通过机器学习进行情绪识别的新方法，该方法解决了以往研究方法中存在的局限性。虽然深度学习在这一领域具有广泛的应用前景，但通常需要大量的计算资源和时间。因此，本文提出了一种利用特征级融合(FLF)和决策级融合(DLF)的多模态方法，以提高性能的同时降低复杂性。本研究重点在于整合脑电图(EEG)、肌电图(EMG)和眼电图(EOG)信号。信号预处理包括统计特征提取、功率谱密度(PSD)和增量熵分析。采用递归特征消除(RFE)作为特征选择器，便于不同信号特征的融合。本研究探讨了三种融合策略：EEG与EOG融合、EEG与EMG融合，以及EEG与EOG和EMG的融合。在分类方面，选择了Bagging分类器和K最近邻算法。研究结果表明，在样本依赖(subject-dependent)分类中，唤醒分类的准确率为95.7%，效价分类的准确率为96.41%；在样本独立(subject-independent)分类中，唤醒分类的准确率为93.68%，效价分类的准确率为93.23%。这为深度学习方法提供了一种可行的替代方案，在减少计算成本的同时提高了性能。

引言

情绪在我们日常生活中起着至关重要的作用，并极大地影响着我们的主观幸福感。研究人员研究了不同的情绪识别方法，例如分析面部表情、语调和生理信号。在这些方法中，电生理信号被认为是检测真实情绪最可靠的方法，因为面部表情和语调是可以被操纵的。心电图(ECG)、肌电图(EMG)、脑电图(EEG)、眼电图(EOG)、皮肤电反应(GSR)和体积描记图(plethysmography)是一些可用于情绪识别的电生理信号。此外，研究揭示了EEG信号可以有效地识别情绪，为个体的情绪状态提供可靠而精确的反馈。

EEG是一个广泛研究的主题，并且可以结合机器学习和深度学习方法来进行研究。方法的选择取决于具体的任务和可用的资源。研究人员通常更倾向于深度学习，因为特征提取过程是自动化的，这与通常可以提供更好模型性能的机器学习不同。虽然深度学习有效，但要达到预期的结果可能需要耗费大量资源和时间。

因此，多模态方法是一种提高预测模型精度的有效方法。这需要结合多个模型，每个模型专门处理不同的数据模态，以提供更全面和精确的数据分类。各种应用，包括图像和语音识别、自然语言处理和人类行为分析，都已成功地实现了这项技术。多模态方法使研究人员能够开发更有效和更高效的预测模型。该方法有两种分类方式：特征级融合(通过结合其他信号的特征来生成新的特征向量，然后使用适当的分类器对其进行分类)；决策级融合(利用来自多个信号分类的预测结果来确定新的行为预期结果)。研究人员已经通过结合行为方法和生理信号，以及行为技术和生理信号，尝试了不同的基于多模态的方法。

在许多研究中，从信号中提取的所有特征都被用于分类，而没有考虑特征选择过程。然而，特征选择过程可以提高模型的性能。因此，本研究旨在通过进行全面的特征选择过程来提高模型的性能，并将结果与深度学习进行比较，具体如下：

1.确定多模态方法是否能通过生理信号帮助改善情绪识别。

2.尝试不同的分类器，并确定最优的情绪识别模型。

3.尝试提高样本依赖和样本独立分类的情绪检测可靠性。

4.对深度学习模型和多模态机器学习模型进行比较。

本研究提出应用递归特征消除(RFE)作为一种特征选择方法。此外，本研究采用了多模态方法，整合了不同类型的电生理信号，以增强情绪识别机器学习模型的可靠性。这种方法允许我们利用多个数据源之间的协同作用，从而获得更稳健和准确的模型。

方法

在实验过程中，使用了一台Windows 11、AMD Ryzen 5 5600H CPU和16GB RAM的笔记本电脑。使用Python版本3.10.9编写代码，本研究方法如图1所示。

图1.分类过程示意图。

数据集

用于情绪分类的三个具有代表性的脑电信号数据集分别是DEAP、SEED和DREAMER。DEAP数据集包含32名参与者在观看40个视频片段时的脑电信号(32通道)。每个参与者对视频的唤醒度、效价、喜爱度、支配性和熟悉度进行评分。

SEED数据集包含15名参与者在观看积极、中性和消极情绪视频时的脑电信号和眼动记录。DREAMER数据集包含23名参与者在视听刺激期间的EEG信号(14通道)和ECG信号(2通道)。参与者在5点量表上对唤醒度、效价和支配性进行评分。DEAP数据集的原始数据包括EEG、EOG和EMG信号，采样率为512Hz，并对信号进行预处理以进一步用于特征提取(表1)。

茗创科技此前有分享过关于情绪脑电研究的公开数据集，详情请点击阅读推文→