FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

3. Methods

定义$X_s$为source image，提供identity信息，$X_t$为target image，提供attribute信息（包括pose、expression、scene lighting和background）

FaceShifter包含2个stage，在stage1中，采用Adaptive Embedding Integration Network（AEI-Net）生成high fidelity face swapping result ${\hat{Y}}_{s,t}$；在stage2中，采用Heuristic Error Acknowledging Network（(HEAR-Net）处理脸部的遮挡问题，进一步生成更精细的结果$Y_{s,t}$

3.1. Adaptive Embedding Integration Network

如Figure 3(a)所示，stage1的网络结构包含3个部分

• the Idenitty Encoder ${\mathbf{z}}_{id}(X_s)$（橙色部分），用于提取identity信息
• the Multi-level Attributes Encoder ${\mathbf{z}}_{att}(X_t)$（灰色部分），用于提取attrubute信息
• Adaptive Attentional Denormalization (AAD) Generator（绿色部分），结合identity和attribute信息，生成换脸结果

Identity Encoder
采用最新的人脸识别模型（来自文献[13]），取the last feature vector generated before the final FC layer作为identity embedding

Multi-level Attributes Encoder

Face attributes, such as pose, expression, lighting and background, require more spatial informations than identity.

为了保存attribute信息，取multi-level feature maps作为attribute embedding（之前的工作将attribute信息压缩为single vector）

具体来说，将$X_t$送入类似U-Net的网络，然后收集decoder部分每一层的feature map作为$z_{att}(X_t)$
$${\mathbf{z}}_{att}(X_t)=\left\{{\mathbf{z}}_{att}^1(X_t),{\mathbf{z}}_{att}^2(X_t),\cdots ,{\mathbf{z}}_{att}^n(X_t)\right\}(1)$$
其中${\mathbf{z}}_{att}^k(X_t)$表示U-Net decoder第k层输出的feature map

值得注意的是，Multi-level Attributes Encoder不需要attribute annotation，能够通过self-supervised training的方式自动提取attribute信息

定义了attribute embedding之后，我们希望换脸结果${\hat{Y}}_{x_t}$与target image $X_t$有相同的attribute embedding

Adaptive Attentional Denormalization Generator
这一步将2个embedding ${\mathbf{z}}_{id}(X_s)$和${\mathbf{z}}_{att}(X_t)$整合起来，用于生成换脸结果${\hat{Y}}_{s,t}$

之前的工作采用feature concatenation，会生成模糊的结果，因此我们提出Adaptive Attentional Denormalization（AAD），采用adaptive fashion的思想来解决这个问题

定义${\mathbf{h}}_{in}^k$表示AAD layer的输入，首先对${\mathbf{h}}_{in}^k$，进行instance normalization
$${\bar{\mathbf{h}}}_k=\frac{{\mathbf{h}}_{in}^k-{\mathbf{\mu }}^k}{{\mathbf{\sigma }}^k}(2)$$

第一步，attributes embedding integration
ADD layer接收${\mathbf{z}}_{att}^k\in {\mathbb{R}}^{C_{att}^k\times H^k\times W^k}$作为输入，然后对${\mathbf{z}}_{att}^k$进行卷积得到${\gamma }_{att}^k,{\beta }_{att}^k\in {\mathbb{R}}^{C^k\times H^k\times W^k}$

然后利用${\gamma }_{att}^k,{\beta }_{att}^k$对normalized ${\bar{\mathbf{h}}}_k$进行denormalization，得到attribute activation ${\mathbf{A}}^k$
$${\mathbf{A}}^k={\gamma }_{att}^k\otimes {\bar{\mathbf{h}}}_k+{\beta }_{att}^k(3)$$

第二步，identity embedding integration
从$X_s$中提取identity embedding ${\mathbf{z}}_{id}^k$，然后对${\mathbf{z}}_{id}^k$进行FC得到${\gamma }_{id}^k,{\beta }_{id}^k\in {\mathbb{R}}^{C^k}$

以同样的方式对normalized ${\bar{\mathbf{h}}}_k$进行denormalization，得到identity activation ${\mathbf{I}}^k$
$${\mathbf{I}}^k={\gamma }_{id}^k\otimes {\bar{\mathbf{h}}}_k+{\beta }_{id}^k(4)$$

第三步，adaptively attention mask
对${\bar{\mathbf{h}}}_k$进行conv+sigmoid运算，学习一个attentional mask ${\mathbf{M}}^k$，最终利用${\mathbf{M}}^k$对${\mathbf{A}}^k$和${\mathbf{I}}^k$进行组合
$${\mathbf{h}}_{out}^k=\left(1-{\mathbf{M}}^k\right)\otimes {\mathbf{A}}^k+{\mathbf{M}}^k\otimes {\mathbf{I}}^k(5)$$

Figure 3 ( c)展示的就是上述所说的三步操作，然后将多个AAD layer组合起来，得到AAD ResBlk，如Figure 3(b)所示

Training Losses
首先设置multi-scale discriminator，得到adversarial loss ${\mathcal{L}}_{adv}$

然后定义identity preservation loss ${\mathcal{L}}_{id}$
$${\mathcal{L}}_{id}=1-cos\left({\mathbf{z}}_{id}\left({\hat{Y}}_{s,t}\right),{\mathbf{z}}_{id}\left(X_s\right)\right)(6)$$

接着定义attributes preservation loss ${\mathcal{L}}_{att}$
$${\mathcal{L}}_{att}=\frac{1}{2}\sum _{k=1}^n{\Vert {\mathbf{z}}_{att}^k\left({\hat{Y}}_{s,t}\right)-{\mathbf{z}}_{att}^k\left(X_t\right)\Vert }_2^2(8)$$

在训练过程中以80%的比例令$X_t=X_s$，则定义reconstruction loss ${\mathcal{L}}_{rec}$如下
$${\mathcal{L}}_{rec}=\{\begin{array}{cc}\frac{1}{2}{\Vert {\hat{Y}}_{s,t}-X_t\Vert }_2^2& \text{if}{X}_t=X_s\\ 0& \text{otherwise}\end{array}(8)$$

对于AEI-NET，完整的损失函数如下
$${\mathcal{L}}_{\mathrm{A}\mathrm{E}\mathrm{I}-\mathrm{N}\mathrm{e}\mathrm{t}}={\mathcal{L}}_{adv}+{\lambda }_{att}{\mathcal{L}}_{att}+{\lambda }_{id}{\mathcal{L}}_{id}+{\lambda }_{rec}{\mathcal{L}}_{rec}(9)$$
其中设置${\lambda }_{att}={\lambda }_{rec}=10$，${\lambda }_{id}=5$

3.2. Heuristic Error Acknowledging Refinement Network

stage1生成的图像能够很好的保持target attributes，但无法保持来自$X_t$中的遮挡（occlusion）

已有的工作额外训练一个face segmentation network，缺点是需要occlusion annotation，并且对于新的occlusion的泛化性不好

在实验中，$X_t$是一幅包含occlusion的图像，令$X_s=X_t$，重构的图像为${\hat{Y}}_{tt}=\mathrm{A}\mathrm{E}\mathrm{I}\text{-}\mathrm{N}\mathrm{e}\mathrm{t}(X_t,X_t)$，我们观察到${\hat{Y}}_{tt}$本该重构出来的occlusion消失了，于是将${\hat{Y}}_{tt}$与$X_t$进行比对，可以得知图像中哪些地方是occlusion

定义heuristic error如下
$$\Delta Y_t=X_t-\mathrm{A}\mathrm{E}\mathrm{I}\text{-}\mathrm{N}\mathrm{e}\mathrm{t}(X_t,X_t)(10)$$

如Figure 4(b)所示，HEAR-Net本质上是一个U-Net，接收$\Delta Y_t$和${\hat{Y}}_{s,t}$作为输入，输出最终的换脸结果$Y_{s,t}$
$$Y_{s,t}=\mathrm{H}\mathrm{E}\mathrm{A}\mathrm{R}\text{-}\mathrm{N}\mathrm{e}\mathrm{t}\left({\hat{Y}}_{s,t},\Delta Y_t\right)(11)$$

训练HEAR-Net的损失项包含3项
第1项是the identity preservation loss ${\mathcal{L}}_{id}^{\prime }$
$${\mathcal{L}}_{id}^{\prime }=1-cos\left({\mathbf{z}}_{id}\left(Y_{s,t}\right),{\mathbf{z}}_{id}\left(X_s\right)\right)(12)$$
第2项是the change loss ${\mathcal{L}}_{chg}^{\prime }$
$${\mathcal{L}}_{chg}^{\prime }=\left|{\hat{Y}}_{s,t}-Y_{s,t}\right|(13)$$
第3项是the reconstruction loss ${\mathcal{L}}_{rec}^{\prime }$
$${\mathcal{L}}_{rec}^{\prime }=\{\begin{array}{cc}\frac{1}{2}{\Vert Y_{s,t}-X_t\Vert }_2^2& \text{if}{X}_t=X_s\\ 0& \text{otherwise}\end{array}(14)$$
总体的损失函数为三者之和
$${\mathcal{L}}_{\mathrm{H}\mathrm{E}\mathrm{A}\mathrm{R}\text{-}\mathrm{N}\mathrm{e}\mathrm{t}}={\mathcal{L}}_{rec}^{\prime }+{\mathcal{L}}_{id}^{\prime }+{\mathcal{L}}_{chg}^{\prime }(15)$$