基于脑机协同智能的情绪识别

【摘  要】面部表情识别是一种直接、有效的情绪识别模式。机器学习可以对图像表情进行形式化表征，但由于缺乏大脑的认知表征能力，在小样本数据集或复杂表情（伪装）数据集上的识别性能并不理想。针对此问题，将机器人工智能的形式化表征与人脑通用智能的情感认知能力结合，提出一种基于脑机协同智能的情绪识别方法。首先，从脑电图信号中提取脑电情感特征，以获取大脑对情绪的认知表征。其次，从情感图像中提取图像的视觉特征，以获取机器对情绪的形式化表征。为了增强机器模型的泛化能力，在特征学习中引入样本间的迁移适配。在得到图像视觉特征和脑电情感特征后，采用随机森林回归模型训练得到图像视觉特征与脑电情感特征之间的脑机映射关系。测试图像的图像视觉特征经过脑机映射关系产生虚拟脑电情感特征，然后将虚拟脑电情感特征与图像视觉特征进行融合，用于情绪识别。该方法已经在中国面孔表情图片系统上进行了验证，发现对7种情绪的平均识别准确率为88.51%，相比单纯基于图像的方法，提升了3%～5%。

【关键词】  情绪识别 ; 脑电图信号 ; 脑机协同智能 ; 深度学习

1.引言

情绪是一种综合人的感觉、思想和行为的状态，包括人对外界刺激或自身的心理反应，也包括伴随这种心理反应的生理反应。在人机交互系统中，识别情绪状态可以让人和机器的互动变得更加友好和自然。因此，情绪分析和识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。通常使用面部表情、身体手势和声音等方法来推断一个人的情绪状态。根据相关调查，言语成分传达了人类交流的三分之一，非言语成分传达了人类交流的三分之二。其中，非言语成分中更易于访问和处理的面部表情通过承载情感含义，成为日