论文笔记：Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses

1.摘要

人脸表情编辑通常涉及较大的几何变化，并且需要同时修改多个面部区域。虽然基于生成式对抗网络（GAN）的人脸表情编辑模型已取得了显著性成果，但是在处理大幅度表情变换时如从愤怒到笑等，当前模型依旧会产生伪影和模糊问题。

针对这一问题作者提出了以局部区域为重点的渐进式表情转换模型 Cascade EF-GAN。不同于针对整张图像的表情变换模型，该模型将表情变换细分为眼睛，鼻子和嘴巴的局部区域独立地进行表情变换，并采用渐进的方式训练模型。实验表明该模型有助于抑制重叠伪影以及模糊问题，并能产生逼真自然的效果。

2.作者的工作主要的点有两点：

(1)第一点，在全局图片变化的前提下，注重表情丰富的局部区域信息，这里是选取了眼睛、鼻子、嘴唇三个区域来作为局部身份的倾向。

(2)第二点，在网络容量的限制下，单步变换在处理大间隙变换时经常产生重叠的伪影，将变换看成一个连续变化的话一步步迭代能更好的处理局部信息和伪影。

3.模型架构如图1所示：

图1

整体网络结构呈现的十分简单：

(1)主要核心部分就是带有注意力机制的EF-GAN可以关注面部的局部部分，

(2)另外一部分就是在EF-GAN结果的基础上进行迭代的Cascade Facial Expression Transformation部分。

3.1.EF-GAN部分，如图2所示：

图2

(1)输入就是一张人脸图和目标表情标签，输出就是一张目标表情的人脸图。

(2)首先这部分有两个branch，跟文章立意一样，分为全局特征即整张图还有局部细节特征即眼睛、鼻子、嘴唇三个部分。

(3)第一步是将目标标签编码，即encode成vector形式，这里采用的是Facial Action Coding System (FACS)编码成Action Units。文中说是使用的开源的OpenFace来操作的。

(4)之后将操作原输入图，将输入图的三个局部区域crop出来，这里文章说crop的方法仍然用的是OpenFace然后将前面两个得到的label和patch image操作后concatenate的结果经过各自的G网络，这里4个G网络结构完全相同但不共享权重。 最后分别得到四张图，即跟前面截的相同，全局图、三个局部图，但都是经过目标表情转换后的结果。