FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

摘要

两阶段框架，
在第一阶段就彻底的和自适应的提取和集成target属性（head pose,
facial expression, lighting, background ）。
我们提出了
一个提取 multi-level target face attribute 的一个attribute encoder。
一个Adaptive Attention Denormalization layer 的generator 去集成身份和属性。
在第二阶段解决面部遮挡问题， Heuristic Error Acknowledging Refinement Network(HEAR-Net).它采用自监督的方式恢复被遮挡的地方。

Introduction

目前主要的难点是：提取和自适应的结合两者的身份和属性。
换脸不仅要分享target image的姿势和表情，还要无缝的拟合到target image中。
1.光照条件也十分重要（方向，密度，颜色）of target image。
2.两者分辨率应该一致。
以上两者都不能通过简单的alpha or poisson blending。

在合成换脸期间，需要对target image全面和自适应地集成