Joint Pose and Expression Modeling for Facial Expression Recognition

Zhang F, Zhang T, Mao Q, et al. Joint pose and expression modeling for facial expression recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 3359-3368.

本文提出了一种端到端的深度学习模型，通过联合利用不同的姿态和表情来实现并行的人脸图像合成和位置不变的人脸表情识别

FER的主要挑战是解释人类面部的巨大外观变化。尽管近年来取得了很大的进展，但在姿态变化、无约束面部表情、光照变化、训练数据不足等具有挑战性因素的场景中，如何开发鲁棒算法来识别人脸表情仍然是一项艰巨的任务。

面部表情识别的目的是分析和分类一个给定的面部图像的几种情绪类型

与现有方法不同的是，我们关注的是位置不变的FER，即通过在任意姿态下捕捉的人脸图像识别或授权个体表情来执行FER

1、提出了一种基于不同姿态和表情的端到端学习模型，用于同时进行人脸图像合成和位置不变表情识别
2、通过G和d中的表达式和位姿编码，显式地将身份表示学习从表情和位姿变化中分离出来，从而使该模型能够在任意位姿下自动生成任意表情的人脸图像
3、该模型在Multi-PIE[13]、BU-3DFE[51]和SFEW[7]数据集上实现了最先进的人脸表情识别性能

我们对分类器采用了一种深度建模的方法，该方法保证了在每一层，在保持人脸表情识别任务的判别信息的同时，特征对干扰因素的不变性越来越强