基于深度残差网络与人脸关键点的表情识别

摘要

为解决表情识别任务中表情特征提取困难和单一的问题，提出一种结合深度残差网络与几何特征的表情识别分法。该方法对深度残差网络进行改进，使用连续小卷积代替大卷积，在各残差块中加入注意力机制，将相同的两个改进残差网络分别作为分支网络，各自提取表情特征，再通过加和平均进行聚合实现特征互补，得到全局特征。采用人脸关键点构建并计算人脸几何特征，使用主成分分析法去除冗余信息，得到几何特征，与全局特征进行融合作为最终表情特征，使用Softmax进行分类。在CK+与JAFFE数据集上进行验证实验，结果表明，改进后的方法分别取得了98.05%和95.29%的识别率。相较于一些常用人脸表情识别方法，基于深度残差网络与人脸关键点的表情识别方法准确率有一定提高。

0 引言

人类表达自身情感有诸多方式，包括面部表情、语言、身体姿态等，其中较为重要的方式就是面部表情，其可以直观准确地反映人们在某一时刻的情绪和心理状态。目前，人脸表情识别已经成为计算机视觉领域的一个研究热点，而且应用广泛，涉及人机交互、心理学、医疗等多个领域［1-2