2018CVPR：Joint Pose and Expression Modeling for Facial Expression Recognition阅读笔记

介绍下这篇论文

这篇论文是江苏大学张飞飞发在2018年CVPR上的一篇论文，针对姿态和表情建模来进行面部表情识别，其实就是以CGAN为基础，在上面创新。

贡献 = 创新点

这里引用他文章中的贡献：

说白了，就是提出了一个端到端的学习模型，也可以说是提出了一种网络结构，剩余两个创新点都是对第一个创新点的修饰，说这个模型能够自动生成任意姿态任意表情的人脸图像，这个模型在Multi-PIE、BU-3DFE和SFEW数据集的面部表情识别上取得当下最先进的结果。

模型

这是这个论文提出的网络结构，这个网络结构包含一个生成器，两个判别器，并且还嵌入了一个分类器来便于图像合成和表情识别。
说下这个网络的全部流程吧，首先输入图片，记录他的表情标签和姿态标签，再用人脸检测算法检测出人脸，并裁剪成224*224，将一张任意姿态任意表情的人脸图像输入到生成器的编码部分中，得到一个关于他的身份特征表示的映射，也就是这个fx，再将所有的表情标签和姿态标签传进来，级联输入到生成器的解码部分，得到一组所有表情所有姿态的图像。在这个过程中，会经过两个判别器，第一个判别器Di目的是将控制身份的特征表示平滑化，让身份特征表示均匀分布，对生成的身份特征分布和先验分布进行判别，让生成的身份特征更加真实。而第二个判别器Datt目的就是将姿态、表情和身份信息从面部表情中分离出来，从而改变姿态和表情，保留身份信息。将生成的人脸图像和真实的初始人脸都输入到这个判别器中，进行判别，让生成图片更真实。最后将生成的图像输入到分类器中，这个分类器的作用是降低生成器的损失，提高生成器城城图片的质量，并进行识别分类。在分类器中使用的是VGG19网络来充当分类网络，并用了经典的softmax交叉熵损失函数。

目标函数

传统gan网络目标函数

首先我们理解下各个参数的含义：
x表述真实图像，z表示噪声，pdatax表示输入数据的分布，针对这个目标函数而言，目标函数也可以看作是一个损失函数，G表示生成器，而Dx表示真实图片的概率，而Dgz表示生成图片的概率，针对生成器G而言，要让生成图片Dgz的概率更大，此时的整体就更小，损失也就越小。而针对判别器D而言，他要找到真实图片，也就是要让Dx越大，此时整体就越大，损失也就越大。

G and Di

针对Di这个判别器而言，要对生成器生成的身份映射fx来进行判断，而priorf表示输入图片的身份映射的先验均匀分布，f*-priof(f)表示从先验分布随机采样的一个过程，得到的就是f*。而这个判别器就是要让生成器生成的身份映射fx和采样得到的f*来进行判别，相互博弈，让得到的身份映射fx更准确。

G and Datt

理解了第一个判别器，就会发现这个判别器差不多，只是多加了个参数y，这个y表示的就是标签，主要是表情标签和姿态标签。

分类器Cexp

这个分类器用VGG19充当分类网络，如果不理解的可以去看下这个网络：
https://www.jianshu.com/p/6aa903648ec5
再用了一个softmax交叉熵损失，不理解也可以看下面的链接：
https://blog.csdn.net/lilong117194/article/details/81542667

内容相似度损失

在文中还用了一个内容相似度损失函数，具体定义如下：

这个说白了就是套用了l1范式，这个L表示的就是l1范式，也就是求向量间差的绝对值之和。

总的目标函数

这个总的目标函数基本上就是把前面几个目标函数相加，只是还引入了个TV，这个叫TVloss，也是一种损失函数，用来降低相邻像素间的差异，最小化噪声。而
文中没提参数的值为多少，但代码里面有，都是设的0.0001。这两个参数我打不出来，用的截图。

实验

数据集

文中共用了三个数据集，但前两个我都没有，发了好多次申请，没点反应，我只有SFEW这个数据集。
实验部分感觉都差不多，那到此结束，拜拜。