最近在研究人脸重建,参考了github上引用量很高的face3d中的2_3dmm.py,因为要在自己的模型和数据上将3d人脸fit到2d,所以花了一点时间研究了里面fitting相关的代码以及算法。face3d上3d landmark fit 到2d landmark主要是用了gold standard algorithm。这个算法是一系列知识点的集合,里面包含相机矩阵,仿射变换,DLT算法以及优化迭代等。在Multiple View Geometry in Computer Vision中gold standard algorithm用于两幅2d图像的配准以及3d到2d的映射,3dmm将其推广到3d数据和2的数据的配准中。
参考资料:
书籍: Multiple View Geometry in Computer Vision
https://www.csc.kth.se/~madry/courses/mvg10/Attachments/04_Presentation03_Ch7_Omid.pdfhttps://www.csc.kth.se/~madry/courses/mvg10/Attachments/04_Presentation03_Ch7_Omid.pdfhttps://www.ece.mcmaster.ca/~shirani/vision/hartley_ch7.pdf
https://www.ece.mcmaster.ca/~shirani/vision/hartley_ch7.pdf
1.投影变换与仿射变换
3d物体从世界坐标投影到图像坐标系
的映射关系为: