Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

摘要：

   出现的问题：尽管脸部轮换在最近几年取得了迅速的进展，但缺乏高质量的配对训练数据仍然是现有方法的一大障碍。当前的生成模型严重依赖于具有同一个人的多视图图像的数据集。因此，它们生成的结果受到数据源的规模和域的限制。

     解决问题：提出了一种新的无监督框架，它可以在野外仅使用单视图图像集合成照片真实感人脸。

    主要方法：在三维空间中来回旋转面，并将其重新渲染到二维平面上，可以起到很强的自我监督作用。我们利用现成的三维拟合网络3DDFA[50]和neural renderer[18]，同时利用了三维人脸建模和GANs的优点。当面从一个姿势旋转到另一个姿势时，不可见的部分将出现在一个固定的二维视图中。虽然以前的方法要求两个图像成对{输入，地面真实}对，但我们使用一个单一图像的自我监督。关键是创建并消除由旋转引起的反射。在给定一个人脸的位姿时，首先将其3D网格旋转到另一个任意的位姿，然后将其渲染到2D空间，得到一个2D渲染图像。然后我们将其旋转回原始位置，并使用从提取的纹理将其渲染为最后，我们使用一个图像到图像的转换网络来填充可见部分，并将渲染的图像映射到真实图像这样，当GAN负责固定被遮挡的部分时，可以保留现有的局部纹理信息。当整个管道向前和向后旋转并渲染面时，我们称之为旋转和渲染框架。,由于三维旋转和面上渲染可以应用于任意角度而不丢失细节，因此我们的方法非常适合于现有方法不足的野生场景（即没有成对数据可用）。

    效果：大量的实验表明，我们的方法比最新的方法具有更高的综合质量和身份保持能力，可以跨越各种姿势和领域。此外，我们还验证了我们的旋转和渲染框架可以自然地作为一个有效的数据增强引擎，即使在基础模型上也可以增强现代人脸识别系统。

   贡献：

     1）我们提出了一种新的旋转渲染框架，用于在野外场景下以完全无监督的方式训练人脸旋转。不需要配对数据或任何标签。

     2） 我们使用一个图像到图像的转换网络将不完整的渲染图像转换为真实的图像，从而生成逼真的人脸旋转结果。

     3） 我们验证了我们的生成结果有利于大规模的人脸识别，即使是在强基线模型上。

Our Approach：

3D face fitting, the rotate-and-render strategy for training data preparation, and the render-to- image translation module.

 

3D face fitting:

其中∏是将模型顶点映射到其二维位置的投影函数

 

数据集：CelebA-HQ datase， Multi-PIE