FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
摘要
两阶段框架,
在第一阶段就彻底的和自适应的提取和集成target属性(head pose,
facial expression, lighting, background )。
我们提出了
一个提取 multi-level target face attribute 的一个attribute encoder。
一个Adaptive Attention Denormalization layer 的generator 去集成身份和属性。
在第二阶段解决面部遮挡问题, Heuristic Error Acknowledging Refinement Network(HEAR-Net).它采用自监督的方式恢复被遮挡的地方。
Introduction
目前主要的难点是:提取和自适应的结合两者的身份和属性。
换脸不仅要分享target image的姿势和表情,还要无缝的拟合到target image中。
1.光照条件也十分重要(方向,密度,颜色)of target image。
2.两者分辨率应该一致。
以上两者都不能通过简单的alpha or poisson blending。
在合成换脸期间,需要对target image全面和自适应地集成