融合全局与局部特征的跨数据集表情识别方法

摘要: 人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异，导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程，本文提出了一种基于表情融合特征的域对抗网络模型，用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合，学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗，对齐数据集的边缘分布和条件分布，使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集，以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比，所提方法获得了最高的平均识别率。实验结果表明，所提方法能有效提高跨数据集人脸表情识别的性能。

• 关键词: 
• 跨数据集  /  
• 人脸表情识别  /  
• 领域自适应  /  
• 特征融合  /  
• 自注意力机制  /  
• 迁移学习  /  
• 细粒度域鉴别器  /  
• 残差网络  

人脸表情是人类最自然、最直接的情绪表达方式之一。研究发现，在人们日常交流沟通的过程中，有55%的情感信息靠人脸表情进行传递[1]。研究人脸表情识别有效促进人机交互系统的发展。目前，该技术已广泛应用在医学、安全监控、教育等领域[2]。

为了推动人脸表情识别的理论研究与实际应用，在过去的十几年里，研究者们已公开了多个表情数据集，并提出了多种方法来提高表情识别的