Corrective 3D Reconstruction of Lips from Monocular Video 简读

Corrective 3D Reconstruction of Lips from Monocular Video 同样是Garrido在siggraph 2016上发表的，在原方法基础上，对lip进行了提升。
1. 提出背景和动机：
lip is hard to estimated due to its incredible range of shapes and deformations of moving lips.
Passive methods only can estimats inaccruacy lip shape by multi-camera, or manunal land marks.
This noval method proposed an automatic lip capture framework.
2. OVERVIEW
使用基本方法 获得 coarse shape Cf，同时利用multi-camera（10个，上下两个各共1组，前后3组）生成High accuracy shape Hf。建立Training Data，对比Cf和Hf, 训练 a single hidden layer RBF Network。当RBF Network训练完成后，对输入的单目视频使用基本方法Cf和Network共同作用，获得最终结果。
3. 在coarse shape 中，利用lip tattoos 作为land mark定位，并将整张脸PCA降维到33维特征，加上inner和outer轮廓的各自距离属性（各10个），一共53维特征作为RBF Network 的输入。
4. 在Network输出的结果是Relative Distance Features，可以直接以矩阵的形式表示为对每个三角形的平移、旋转拉伸变换。
5. 时间效率： In average the runtime of our method (after training) is approximately 25 sec/frame on an Intel Xeon E5-2637 CPU (3.5 Ghz), where 20 seconds are spent on monocular tracking (previous work) and 5 seconds are added for our new lip correction approach.