标题:A Morphable Model For The Synthesis Of 3D Faces
链接:https://dl.acm.org/doi/pdf/10.1145/311535.311556
如何表示一张3D脸
3DMM的鼻祖,即将一个人脸分解为形状S(shape)和纹理T(texture)向量,两个向量共享相同的坐标点数。形状的信息就是x,y,z的坐标点,而纹理的信息就是r,g,b的颜色信息。然后使用pca将不同的脸归纳到一个脸部模型当中,即先计算平均脸的信息,然后计算不同脸之间的差值,进而计算协方差矩阵,最后得到协方差矩阵的特征值和特征向量。最终每个脸都可以表示为平均脸+差值参数的样子。
如何将3D脸匹配到2D人脸图像
为了将3D形变模型匹配到2D图像,我们就要将3D脸渲染。进而就会需要额外的考虑相机位置,光照,反射等信息。因此引入了另外一组p渲染向量。联合优化T,S,q,三组向量,让重构图像和原始图像之间的区别越小越好。
如何使用多视角的2D图像优化模型
各个图像使用同一套T和S,然后使用不同的p,来一起优化。
参考链接:https://zhuanlan.zhihu.com/p/97564880