论文理解之增加换脸效果 FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

论文：FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

论文地址：https://arxiv.org/pdf/1912.13457.pdf

换脸是非常吸引人的一种应用，开发者可以用 VAE 或 GAN 做出非常炫酷的效果。一般而言，换脸会将 A 脸特征换到 B 脸上，同时保留 B 脸的神情或动态。像 FaceSwap 这样开源项目已经能生成非常真实的假脸视频，不过仔细看看仍然会发现有的地方存在模糊，有的地方转换不太自然。

那么怎样才能生成转换更自然，效果更真实的换脸视频？这就是这篇论文的研究目的，研究者新模型不仅感官上更真实，同时还保留了比其它前沿方法更多的个人特征。

下面我们先看看效果：

研究者同时从网络上下载人脸图像以展示 FaceShifter 的强大能力。如图 11 所示，新方法可以处理不同情况下（如夸张的动作、非常见光照以及极其复杂的面部遮挡）的人脸图像。

研究者此次提出了一种新型的两段式框架——FaceShifter。这个框架可以完成高保真的换脸过程，在面部有遮挡时依然可以很好地工作。不像那些只利用有限信息就完成换脸任务的框架，该框架中的第一部分就自适应地整合了目标图像的所有属性以生成高保真的换脸图片。

此外，研究者提出了一种新型的属性编码器以提取人脸图像的多级属性，同时提出了一种基于 Adaptive Attentional Denormalization (AAD) 的新型生成器，自适应地整合人脸合成时所需的特征和属性。

为了解决脸部遮挡的问题，研究者在框架中加入了第二部分——Heuristic Error Acknowledging Refinement Network (HEAR-Net)。这个网络通过自监督的方式，在没有人工标注的情况下实现异常区域的修复。

下面，让我们看看这种高逼真度的换脸到底是怎么样的。

换脸的缺陷与改进

换脸技术就是将目标图像中人脸的面部特征替换为源图像人脸的对应部分，同时还要保留一些如头部动作、脸部表情、光线、背景等基本属性。由于这一技术在电影合成、电脑游戏以及隐私保护等方面有很广泛的应用前景，这一技术已经广泛引起了视觉和图像领域的关注。

最近，基于 GAN 的一些工作已经取得了很不错的