3D人脸标定

Two-stage Convolutional Part Heatmap Regression for the

前言：

3DFAW 挑战是一个评估3D 人脸对齐的方法的比赛，目前是第一届，使用的数据集3DFAW包含了众多高质量的图片：MultiPIE、BP4D-Spontan
eous，以及使用相机矩阵获取的3DTV内容和时间片的视频，深度信息使用2015年的《Dense 3D face alignment from 2D videos in real-time 》的方法恢复。本篇本章的方法是在3DFAW上进行训练测试的，是本届的第一名。

方法概述：

其方法是建立在对卷积部分的热度图进行回归的基础上的，将其拓展到3D人脸对齐上，该heatmap方法在2D
Alignment目前也是比较常见的。该方法将问题分解成两部分，2D坐标（x,y）的预测和Z轴深度信息的预测。在第一阶段，通过生成的一系列2D
热度图，计算人脸点坐标的X、Y轴，对于每一个人脸点，使用卷积部分热度图进行回归；紧接着，这些热度图配合输入的RGB图片，作为深度网络
的训练，使用residual learning学习的方式，回归Z轴，方法流程图如下图。该方法很牛逼的比第二名提高了22%。

• 在第一步中，包含两个子网络，第一个子网络（landmark detection subnetwork）用于检测出初始的点，第二个子网络（landmark
  regression subnetwork）回归矫正初始点，就是级联的方式，两个都是采用residual learning进行训练。
  landmark detection subnetwork的模型结构是以 ResNet-152 model
  为基础的，不过进行了一些改进，最后改成全卷积了，并且在最后加了个deconvolution

• 在第二步中，回归Z轴。将每一个人脸点使用2D高斯（std=6
  pixels）编码成heatmap，Z轴回归的网络是基于ResNet-200，将全连接层的输出改为N个输出，每个输出代表一个landmark，网络的输
  入改为了3+N通道，应用L2作为损失函数。

感觉这篇文章内容比较易懂，很多目前比较牛逼有效的东西都用上了，hourglass network的概念感觉可以进行验证，效率上不敢说能让能接受。
如果能得到3D的人脸点，这个好处是显然的，但在数据采集上即使体力活更是技术活，要使用3D标注工具，之前有接触到Menpo，可以再看看。这边有了3D人脸点，还是需要内外参，刚开始没有想明白，后来询问，因为贴装所需要的点比较多，标注的一个点会牵动一块区域的网格。