【论文02】GANimation: One-Shot Anatomically Consistent Facial Animation

【论文02】
《GANimation: One-Shot Anatomically Consistent Facial Animation》
《GANimation: 一次性解剖学一致的面部动画》

文献类型：期刊
发表年限：2019年8月

关键部分：
数据集：情绪网络数据集(Benitez-Quiroz等人，2016年)，20万张。
方法：
通过动作单元(AUs)对解剖学一致的面部变形进行参数化编码。在这些AUs上调节GAN模型允许生成器通过简单的插值来呈现广泛的表达式。网络内的注意力模型，允许只关注与每个特定表情相关的图像区域。通过这样做，我们可以很容易地在野外处理图像，有不同的背景，光照和遮挡。
训练GANimation时最关键的部分是保证注意力面具的正确收敛。
比较方法：用了三个指标比较：面部距离（ACD）；初始分数（IS）用户偏好（用户研究——20人）

存在问题：StarGAN只能在由数据集的注释粒度定义的离散数量的属性中更改人脸的特定方面。也就是说只能合成数据集中的表情。

产生原因：然而，这些方法是以离散的情感类别(例如，快乐、中性和悲伤)为条件的。相反，我们的模型恢复了皮肤和肌肉建模的思想，但我们将其集成到现代深度学习机器中。

解决方法：
创新点：提出了一个模型，除了产生对复杂背景的鲁棒性，它也是有效的处理部分遮挡的脸。GANimation保留/稍微提高了StarGAN的质量，同时提供了更广泛的动画可能性。
下一步工作：用于视频

补充概念：
弱监督策略：不完全监督、不确切监督、不准确监督。
FACS:面部表情编码系统
Earth Mover’s Distance（EMD）：向量相似度度量
WGAN-GP：使用梯度惩罚的方法替代权值剪裁。