基于3D分层卷积融合的多模态生理信号情绪识别

【摘  要】近年来，脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象。然而，单模态的脑电信号存在情绪信息特征不完备问题，多模态生理信号存在情绪信息交互不充分问题。针对这些问题，提出基于3D分层卷积的多模态特征融合模型，旨在充分挖掘多模态交互关系，更准确地刻画情感信息。首先分别通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息，再对得到的多模态初级情绪特征信息进行3D卷积融合操作，实现两两模态间的局部交互以及所有模态间的全局交互，获取包含不同生理信号情绪特征的多模态融合特征。实验结果表明，提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到了98%的平均准确率。

【关键词】  生理信号 ; 情绪识别 ; 3D分层卷积 ; 多模态交互

1.引言

随着人工智能技术的发展和互联网的普及，人们对人机情感交互的需求在生产生活中的各个领域中日益显现。其中，如何准确地识别情绪一直是热门研究方向。生理信号是对人体中枢神经系统和自主神经系统的反应，这些信号的变化能体现不同的情绪。与其他情感载体（如姿势、面部表情或语音等）能刻意伪装不同，生理信号这种情绪体现方式最大的特点在于中枢神经系统和自主神经系统在很大程度上是非自愿激活的，因此不容易控制，更具客观真实性。因此，越来越多的国内外专家学者投入基于生理信号的情绪识别研究领域。特别是随着脑科学发展，以脑电图（electroencephalography， EEG）为主要媒介的情绪识别研究越来越受到关注，且相关的研究成果已被应用到许多领域，如人机交互系统、安全驾驶、医疗保健，尤其是心理健康监测和游戏娱乐等。在生理信号中，除常见的脑电图