One-shot Face Reenactment（BMVC19）

最新推荐文章于 2023-05-28 22:08:14 发布

o0Helloworld0o

最新推荐文章于 2023-05-28 22:08:14 发布

阅读量1.0k

点赞数

分类专栏：读书笔记

本文链接：https://blog.csdn.net/o0Helloworld0o/article/details/103805980

版权

读书笔记专栏收录该内容

40 篇文章 2 订阅

订阅专栏

3 Approach

给定source face $x_s$ ，包含了pose guidance，以及target face $x_t$ ，包含了reference appearance，学习的目标是生成一幅图像包含 $x_s$ 的pose/expression，以及 $x_t$ 的identity

3.1 Disentangle-and-Compose Framework

在这里插入图片描述
Shape Encoder $E$
Shape Encoder $E$ 的网络结构和文献[34, 35]中的boundary encoder一模一样，将人脸图像编码为一个15通道的heatmap，分别对应人脸不同的部分，然后涂上不同的颜色，得到face parsing maps

此外，增加额外的2个gaze channels，

Shape Encoder $E$ 在WFLW数据库上进行预训练，gaze channels在EOTT数据库上进行预训练，预训练完成后，整个Shape Encoder $E$ 被frozen

Appearance Auto-Encoder $F$
Appearance Auto-Encoder $F$ 包含Encoder部分以及Decoder部分

$F$ 需要学习人脸图像中的identity information和local facial details

$F$ 的Decoder负责重构人脸图像，为了保证生成图像中的identity，将Decoder过程中的feature maps拼接到Semantically Adaptive Decoder $D$ 中（Figure 3中的橘黄色箭头）

为了保证 $F$ 不受shape的影响，……

Semantically Adaptive Decoder $D$
原本可以采用U-Net的结构，现在使用了multi-scales SPADE blocks，就可以去掉U-Net的Encoder部分

3.2 FusionNet

目前为止的模型在生成facial details（如胡子、皱纹）仍然存在问题，而warping-based methods生成facial details的效果比较好，因此提出一个FusionNet结构，如Figure 4所示，接收生成图像以及warping的结果，生成一个mask用于融合两幅图像
在这里插入图片描述

3.3 Learning

$\begin{aligned} L_{total}&=L_{reenact}+\lambda L_{app_recons} \\ L_{reenact}&=\alpha_rL_{perceptual}+\alpha_gL_{GAN}+\alpha_iL_{id} \qquad(1) \end{aligned}$