High-resolution Face Swapping via Latent Semantics Disentanglement

High-resolution Face Swapping via Latent Semantics Disentanglement

人脸视频交换，从浅层派生结构属性，从深层派生外观属性。结构转移潜在方向，进一步分离结构属性中的身份和姿态信息。将姿态和身份（纹理特征分离）。人脸交换这个领域值得思考。

Introduction

人脸交换的历程最早期是依靠像素，之后是给人脸3D建模，去处理大姿势的问题，但是这种方法受周围环境影响不稳定。在高清人脸方面，身份和attribute无法有效分离。这里利用style gan的渐进性质分离他们。
把工作移植到视频人脸交换。

相关工作

3D模型不能有效处理光照和风格。GAN模型编码编码背景和人脸或者身份和标签。最近也有干超清分辨率的，但是不多。大家最近都在用预训练的stylegan来做很多事情。

方法

Class-Specific Attributes Transfer

把浅层特征和深层特征联合编码。To derive − →n , we note that the face structure can be indicated by the facial landmarks.

Loss 设计

重建误差，landmark误差。
有一个很有趣的东西

FaceForensics++这个数据集值得注意一下。consists of 1,000 original talking videos downloaded from YouTube and manipulated with 5 face swapping methods。
最终效果：
对视频效果并不好，因为视频是低分辨率的。