小白的记录。
综述推荐一篇CVPR2019的:Deep Facial Expression Recognition: A Survey
基于深度学习的表情识别流程为:人脸识别+表情分类
目前存在的问题:1. 相比于目标检测,人脸识别等任务数据不足,容易过拟合;2. 受光照等外界条件影响大;3. 类内差大(不同个体的脸部特征和表情不同,也就是论文经常提到的identity information会带来影响;另一方面姿态不同加强了识别难度,一个个体的不同pose信息过少,数据集中基本只有正面图像);4. 相比于人脸识别,表情更加抽象细微。
目前针对这些难点有几篇不错的比较新的论文:
- Joint Pose and Expression Modeling for Facial Expression Recognition
主体是利用CGAN生成多姿态和表情的人脸图像,实现数据增强以提高表情识别正确率。CGAN的结构比较特殊,生成器为一个autoencoder,编码部分得到输入图像的identity representation,pose和expression作为条件在编码和解码中间加入,解码部分基于三者concatenate的code生成指定pose和expression的人脸图像。判别器有两个,一个用于判别编码得到的identity representation,使其更加平滑;另一个判别解码生成的人脸图像,使其和输入图像更加一致。同时表情分类器也对生成图像进行表情识别,得到的loss也参与GAN的更新。
- Facial Expression Recognition by De-expression Residue Learning
也是以GA