人脸表情系列——人脸表情识别（Facial Expression Recognization/FER）

最近看了几篇关于表情识别的论文，稍微记录一下。

综述推荐一篇CVPR2019的：Deep Facial Expression Recognition: A Survey

基于深度学习的表情识别流程为：人脸识别+表情分类

目前存在的问题：1. 相比于目标检测，人脸识别等任务数据不足，容易过拟合；2. 受光照等外界条件影响大；3. 类内差大(不同个体的脸部特征和表情不同，也就是论文经常提到的identity information会带来影响；另一方面姿态不同加强了识别难度，一个个体的不同pose信息过少，数据集中基本只有正面图像)；4. 相比于人脸识别，表情更加抽象细微。

目前针对这些难点有几篇不错的比较新的论文：

1. Joint Pose and Expression Modeling for Facial Expression Recognition

主体是利用CGAN生成多姿态和表情的人脸图像，实现数据增强以提高表情识别正确率。CGAN的结构比较特殊，生成器为一个autoencoder，编码部分得到输入图像的identity representation，pose和expression作为条件在编码和解码中间加入，解码部分基于三者concatenate的code生成指定pose和expression的人脸图像。判别器有两个，一个用于判别编码得到的identity representation，使其更加平滑；另一个判别解码生成的人脸图像，使其和输入图像更加一致。同时表情分类器也对生成图像进行表情识别，得到的loss也参与GAN的更新。

2. Facial Expression Recognition by De-expression Residue Learning

也是以GAN为