GANimation: Anatomically-aware Facial Animation from a Single Image

GANimation: Anatomically-aware Facial Animation from a Single Image

paper motivation

近期生成对抗网络（GAN）在人脸表情合成任务中取得了惊人的表现，其中最成功的架构是 StarGAN，但该架构只能生成不连续的表情。为突破这一局限，本文提出了一种基于动作单元（AU）标注的新型 GAN 条件化方法，可以从单张图像和表情编码生成连续的表情动画，生成的图像具备连贯性、真实性、广泛性、鲁棒性。该方法以完全无监督的方式进行训练，使用符合人类解剖结构的面部动作编码系统来编码面部表情。

主要创新点

1）GANimation将Action Units（AU）与GAN结合。AU就是动作单元，利用动作单元来描述面部表情，动作单元在解刨学上与特定的面部肌肉收缩有关。动作单元的数量不多，只有不到30个，但是可以通过将动作单元进行组合有7000多种面部表情。比如一个恐惧的面部表情可以是AU1,AU2,AU4…等的结合。通过设置参数来控制一组合目标动作单元（AU)的激活程度，从而实现了对人脸表情的渐变插值过程。（2）将Attention引入到了模型中。生成网络包含两部分，$G_A$输出注意力掩模$A$。$G_I$输出的是RGB掩模$C$。最后结果是$(1-\mathbf{A})\cdot \mathbf{C}+\mathbf{A}\cdot {\mathbf{I}}_{{\mathbf{y}}_o}$,${\mathbf{I}}_{{\mathbf{y}}_o}$是输入图像。通过引入Attention可以用于克服生成图片中背景和光照的影响。

主要思想

一种无监督条件生成对抗网络。
什么是AU
医学上会把人脸肌肉分为不同的区域，那么人脸做出表情的时候，某些区域会有不同程度的变化，比如说左边这个图，这个惊恐的表情，有这些部位会有不同程度的运动。这个数据集就是记录了人脸做各种表情的时候各个区域的变化程度。一般的表情数据集的label都是说这个人脸是什么表情，那这个数据集的label不是离散的各种表情的定义，而是用向量来表示各个区域不同程度的表情变化。通过调节表情向量就可以使这篇文章的模型输出不同程度的表情。这个向量就长下面这个样子，向量长度为N，表示脸部N个区域，每个值的范围从0到1.表示运动程度。 $y_r={\left(y_1,y_2,\dots ,y_N\right)}^T$ . 作者使用了EmotioNet数据集

网络结构

如上图所示，网络由一组生成网络G和判别网络D组成。生成网络和判别网络分别由两个子网络组成。模型的输入图像定义为图像$I_{y_r}$和目标单元$y_g$ 的合并。生成网络$G_A$回归一个注意力掩码，用来只关注人脸忽略背景 ；$G_I$用来生成颜色掩码。判别网络$D_I$用来判别生成的图片的真实性；$D_y$用来回归输出图像的目标动作单元。

具体看生成网络，其不是回归整个图片，而是输出了两个掩码，一个注意力掩码$A$和一个RGB颜色掩码。最终的输出图像由$(1-\mathbf{A})\cdot \mathbf{C}+\mathbf{A}\cdot {\mathbf{I}}_{{\mathbf{y}}_o}$,得出${\mathbf{I}}_{{\mathbf{y}}_f}$。

损失函数

Adversarial Loss
用来判别生成图像的真实性，作者使用了WGAN_GP
E I y o ∼ P o [ D I ( G ( I y o ∣ y f ) ) ]