Facial Expression Recognition by De-expression Residue Learning学习记录

Facial Expression Recognition by De-expression Residue Learning

 

 

Key：残余表情识别算法（DERL）

 

Why？

1.现在的大部分研究关注的都是光照，姿态，遮挡等对表情识别的影响。作者关注的是个体差异。（目的：缓和个体特征的影响并提高面部表情识别能力）

2.人类有能力去识别面部表情通过比较表情脸和中性脸。即，一个人脸表情可以用表情和中性脸组成。

3.中性脸可能不能经常获得

 

Advantage：

1. 新方法。缓和个体特征的影响并提高面部表情识别能力
2. 有能力处理无意识的表情、姿势表情、变化类型和种族背景等情形。
3. 成功地提高了单数据集的识别能力，在交叉验证数据集上也比最先进的方法表现好。

（交叉验证：在训练模型前将所掌握的数据进行划分，严格来说一般会划分为训练集、验证集和测试集，在训练集上进行训练模型，在验证集上试验效果、调整参数设置，在测试集上进行最终的测试。8：1：1）

 

How？

1. 通过cGAN训练一个生成模型。这个模型对于任何输入的人脸图片生成大致相当的中性脸。（生成器G中保存有residue（精准的表情成分）,用于训练学习）

 

（1）cGAN

CGAN的提出使得GAN可以利用图像与对应的标签进行训练，并在测试阶段 利用给定标签生成特定图像。

·原始的GAN的生成器的问题：标签是什么我们无从得知。

·CGAN的主要贡献就是在原始GAN的生成器与判别器中的输入中加入额外信息（标签）。

生成器G，判别器D。

在CGAN中的生成器G，我们给定一个输入信息和额外信息，之后将两者通过全连接层连接到一起作为隐藏层输入。同样地，在判别器D中输入图像和额外信息也将连接到一起作为隐藏层输入。

通过G生成尽量服从真实数据的样本G（z）

D用来判别输入样本是真实数据x or 生成数据G（z）。最优状态D=0.5

 

 

2.第二部分是学习residue，然后进行表情分类。

 

 

3.本方法在两个带有表达式BU-4DFE和自发表达式BP4D的数据库用于预训练（数据增强仅适用于预训练）。

在五个公共面部表情数据库上进行评估，包括CK + ，OuluCASIA ，MMI 和BU-3DFE，以及自发表达数据库BP4D+。

损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。

 

 

从评估结果中发现，使用DERL取得比较好的结果