Two-stage Convolutional Part Heatmap Regression for the
前言:
3DFAW 挑战是一个评估3D 人脸对齐的方法的比赛,目前是第一届,使用的数据集3DFAW包含了众多高质量的图片:MultiPIE、BP4D-Spontan
eous,以及使用相机矩阵获取的3DTV内容和时间片的视频,深度信息使用2015年的《Dense 3D face alignment from 2D videos in real-time 》的方法恢复。本篇本章的方法是在3DFAW上进行训练测试的,是本届的第一名。
方法概述:
其方法是建立在对卷积部分的热度图进行回归的基础上的,将其拓展到3D人脸对齐上,该heatmap方法在2D
Alignment目前也是比较常见的。该方法将问题分解成两部分,2D坐标(x,y)的预测和Z轴深度信息的预测。在第一阶段,通过生成的一系列2D
热度图,计算人脸点坐标的X、Y轴,对于每一个人脸点,使用卷积部分热度图进行回归;紧接着,这些热度图配合输入的RGB图片,作为深度网络
的训练,使用residual learning学习的方式,回归Z轴,方法流程图如下图。该方法很牛逼的比第二名提高了22%。
在第一步中,包含两个子网络,第一个子网络(landmark detection subnetwork)用于检测出初始的点,第二个子网络(landmark
regression subnetwork)回归矫正初始点,就是级联的方式,两个都是采用residual learning进行训练。
landmark detection subnetwork的模型结构是以 ResNet-152 model
为基础的,不过进行了一些改进,最后改成全卷积了,并且在最后加了个deconvolution在第二步中,回归Z轴。将每一个人脸点使用2D高斯(std=6
pixels)编码成heatmap,Z轴回归的网络是基于ResNet-200,将全连接层的输出改为N个输出,每个输出代表一个landmark,网络的输
入改为了3+N通道,应用L2作为损失函数。
感觉这篇文章内容比较易懂,很多目前比较牛逼有效的东西都用上了,hourglass network的概念感觉可以进行验证,效率上不敢说能让能接受。
如果能得到3D的人脸点,这个好处是显然的,但在数据采集上即使体力活更是技术活,要使用3D标注工具,之前有接触到Menpo,可以再看看。这边有了3D人脸点,还是需要内外参,刚开始没有想明白,后来询问,因为贴装所需要的点比较多,标注的一个点会牵动一块区域的网格。