2018FSNet: An Identity-Aware Generative Model for Image-based Face Swapping论文阅读笔记

论文原文及地址:FSNet: An Identity-Aware Generative Model for Image-based Face Swapping

摘要:

• 本文提出了基于图像的人脸交换的深层生成模型FSNet。 传统上，人脸交换方法是基于三维变形模型(3DMMS)，在不同的两幅图像中，在估计的三维(3D)几何图形之间替换面部纹理。 然而，使用3DMMS估计三维几何形状以及不同的照明条件仍然是一项困难的任务。 本文用一个潜在变量表示人脸区域，将该变量被分配深度神经网络(DNN)，而不是面部纹理。 所提出的DNN使用人脸区域的潜在变量和非面区域的另一图像合成人脸交换图像。 所提出的方法不需要适合3DMM；此外，它只通过向所提出的网络提供两个人脸图像来执行人脸交换。 因此，我们基于DNN的人脸交换比以前的方法更好地挑战不同人脸方向和照明条件的输入。 通过几个实验， 我们证明了所提出的方法比最先进的方法更稳定地进行人脸交换，并且其结果与该方法是兼容的.

关键字: 人脸交换,卷积神经网络,深度生成模型

1.引言

• 由于社交网络服务和照片渲染软件的发展，人脸图像编辑越来越普遍。 为了满足这种创建更有吸引力的人脸图像的潜在需求，已经对一系列应用进行了许多研究，包括人脸图像分析[1-4]和操作[5-9]在计算机视觉和图形社区中的应用。 在这种应用中，面部交换是一种重要的技术，因为它具有广泛的应用，如集体照片合成[5]、虚拟发型拟合[9]、隐私保护[6,10,11]和机器学习的数据增强[12-14]。
• 如其名称所示，面交换将目标图像的面区域替换为源图像中的面区域。 传统的方法[5,15]使用三维可变形模型(3DMMS)估计人脸几何形状及其相应的纹理。 随后，使用估计的纹理坐标交换源和目标图像的纹理。 最后，利用从目标图像估计的照明条件，对替换后的人脸纹理进行了重新渲染。 然而，这些方法在实际中容易在估计人脸几何形状或照明条件方面失败。 不准确的估计通常会引起明显的伪影，因为人类的眼睛可以很好地检测到这些几何形状和照明条件的轻微不匹配。
• 与上述方法相比，最近的几项研究将深度神经网络(DNNs)应用于人脸交换。 Bao等人 [16]提出了一种使用DNN的条件图像生成技术，称为CVAE-GAN。 他们通过考虑人脸身份作为image conditioners来进行人脸交换。 在“FakeApp”[17]中使用了类似的技术，这是一种易于使用的应用软件，使用DNN进行基于图像的人脸交换。 Korshunova等人 [11]认为人脸身份是神经风格转移[18]中的艺术风格，并通过使用一个人的很多张图像对预先训练的网络进行微调来进行人脸交换。 虽然这些方法有助于使用深度学习技术进行面部交换，但它们有一个共同的问题，即用户必须准备个人的多个输入图像。 同时，Natsume等人 [19]提出了一种只使用单源图像和单目标图像的人脸图像编辑DNN。 即使他们的方法广泛应用，包括面部交换，但是他们的面部交换结果的头发区域不再与原始图像中的相同。
• 为了解决上述问题，我们提出了FSNet，一种新的基于图像的人脸交换DNN。 该方法将人脸外观作为一个与人脸几何形状和非人脸区域的外观无关的潜在变量，包括发型和背景。 将两个输入图像的两个人脸外观的潜在变量交换，并与对应图像的非人脸部分的潜在变量相结合。 一旦使用大规模人脸图像数据集对FSNet网络进行训练，FSNet不需要任何额外的微调，只使用单个源图像和单个目标图像进行人脸交换。 如图1所示。 在源图像中，人脸被适当地交换，因为人脸身份被很好地保存，并且与目标图像的非人脸区域自然地组成。

基于图像的人脸交换的结果。 在此图中，左列中目标图像的人脸区域被替换为顶部行中源图像的人脸。 补充文件为其他输入面提供附加结果。

• 在本研究中，我们使用许多图像评估指标来评估人脸交换结果，并证明FSNet比最先进的方法实现了更稳定的人脸交换。 除了稳定性外，FSNet结果的质量与其方法兼容。 FSNet的技术贡献概述如下：
  1. 它是一种新的基于图像的人脸交换DNN，只使用单个源和单个目标图像，不需要任何额外的微调。
  2. 在面部交换时，它很好地保留了源图像中的面部身份以及目标图像中的发型和背景区域的外观。
  3. 它执行高质量的脸交换，即使是典型的挑战输入，不同的脸方向和不同的照明条件。

2.相关工作

• 人脸交换已经被研究了一系列的应用，包括集体照片合成[5]，虚拟发型拟合[9]，隐私保护[6,10,11]，以及大型机器学习[14]的数据增强。 几项研究[7,10]只取代了脸的部分，如眼睛、鼻子和嘴之间的图像，而不是交换整张脸。 一种流行的人脸交换方法是基于3DMM[5,15]。 将3DMM拟合到目标面，得到人脸几何形状、纹理映射和照明条件[1,2]。 一个面部交换外观是通过更换面部纹理和随后使用估计的照明条件重新渲染面部外观产生的。[3D方法换脸]
• 这些方法的主要缺点是难以从单个图像中准确估计三维(3D)人脸几何形状和照明条件。 错误估计通常会引起明显的视觉