3D Face Reconstruction from a Single Image

学习，诺丁汉大学和金斯顿大学的一队AI专家，最近的一个新研究成果：使用机器学习算法，只需要一张人脸照片，就能生成3D人脸。

怎么做到的？其实背后是一个卷积神经网络，研究人员把大量人脸数据喂给这个网络进行训练，最终这个AI学会了从照片脑补出3D人脸。

Demo

想尝试一下的朋友，可以赶紧前往下面这个网址：

http://cs.nott.ac.uk/~psxasj/3dme/

论文

这个团队还把研究成果公布了出来。

《Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression》

摘要：

3D面部重建是一个非常困难的基础计算机视觉问题。

目前的系统通常使用多张面部图片作为输入，并且需要解决诸多挑战，例如需要在大型面部姿态中建立密集的对应，要受到表情、不均匀光照等影响。一般来说，这些方法需要复杂和低效的管道来建模和拟合。

在这项研究中，我们提出通过由2D图像和3D面部模型或扫描组成数据集，并在这个数据集上训练卷积神经网络（CNN）来解决这些限制。

我们的CNN只需要使用一个2D面部图像，不需要精确的对准，也不需要在图像之间建立密集对应。这个方法适用于重建整个3D面部几何（包括不可见部分）。我们通过一个简单的CNN架构来实现这一点，这个架构对单个2D图像的3D面部几何进行体积表征的直接回归。

我们还展示了如何将面部地标定位的相关任务纳入提出的框架，这有助于提高重建质量，特别是在大型姿态和面部表情的情况下。

研究的代码也已经公布在GitHub上，https://github.com/AaronJackson/vrn

软件要求：

• Torch7

• MATLAB

• Nvidia GPU（装好CUDA和CuDNN）