3dmm人脸配准/重建:gold standard algorithm

已于 2022-05-31 22:27:42 修改
阅读量970 收藏 4
点赞数 1
分类专栏： 人脸重建 文章标签： 计算机视觉 人脸重建 算法
于 2022-05-31 22:25:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dym755833564/article/details/125072895
版权
本文深入探讨了3DMM人脸重建中使用的Gold Standard Algorithm，涵盖投影变换、仿射变换和DLT算法。该算法通过数据标准化、损失函数最小化迭代优化3D人脸模型与2D特征点的对齐，实现精准的人脸重建。
摘要由CSDN通过智能技术生成

最近在研究人脸重建，参考了github上引用量很高的face3d中的2_3dmm.py，因为要在自己的模型和数据上将3d人脸fit到2d，所以花了一点时间研究了里面fitting相关的代码以及算法。face3d上3d landmark fit 到2d landmark主要是用了gold standard algorithm。这个算法是一系列知识点的集合，里面包含相机矩阵，仿射变换，DLT算法以及优化迭代等。在Multiple View Geometry in Computer Vision中gold standard algorithm用于两幅2d图像的配准以及3d到2d的映射，3dmm将其推广到3d数据和2的数据的配准中。

参考资料:

书籍: Multiple View Geometry in Computer Vision

https://www.csc.kth.se/~madry/courses/mvg10/Attachments/04_Presentation03_Ch7_Omid.pdfhttps://www.csc.kth.se/~madry/courses/mvg10/Attachments/04_Presentation03_Ch7_Omid.pdfhttps://www.ece.mcmaster.ca/~shirani/vision/hartley_ch7.pdfhttps://www.ece.mcmaster.ca/~shirani/vision/hartley_ch7.pdf

1.投影变换与仿射变换

3d物体从世界坐标X_i = \left [ X, Y, Z, 1 \right ]^T投影到图像坐标系x_i = \left [ x_i, y_i, \omega _i \right ]^T的映射关系为:

最低0.47元/天 解锁文章
aliceDingYM
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（综述，讲得很好）基于3DMM的三维人脸重建技术总结
qq_43703185的博客
10-29 8691
深度学习全监督重建方法：由于真实的三维人脸和二维人脸图像对非常缺乏，采集成本高，很难得到真实二维三维图像对，通常将多张照片进行model fitting求解生成了对应的三维人脸模型，将其作为真值(Ground Truth)，从而得到了二维三维图像对，这也导致模型泛化到真实数据集的能力较差。 自监督的方法则是一个解决该问题的重要思路。这一类方法不依赖于真实的成对数据集，它将二维图像重建到三维，再反投影回二维图 2. 什么是3DMM模型 讲的也很好 原文链接：https://blog.csdn.net/hac
3DMM人脸模型匹配
08-08
使用python语言将3DMM人脸模型与人脸图片的进行拟合与匹配。
使用3DMM_edges实现高效面部特征捕捉
最新发布
gitblog_00059的博客
06-14 262
使用3DMM_edges实现高效面部特征捕捉 3DMM_edgesMatlab implementation of algorithm for fitting 3D Morphable Model to images using edge features项目地址:https://gitcode.com/gh_mirrors/3d/3DMM_edges 在计算机视觉和图像处理领域，3D Morp...
Face3D学习笔记（5）3DMM示例源码解析【中下】从二维图片的特征点重建三维模型——黄金标准算法
qq_45912037的博客
03-29 6202
后向部分的代码解析——黄金标准算法的引入
三维人脸重建【1】：基于3DMM的人脸重建方法总结
船头尺的博客
04-29 3261
本文对最近几年基于3DMM进行人脸重建的算法进行总结。初学者水平有限，望大神在评论区多交流并补充。 1、基于优化计算3DMM参数的三维人脸重建算法 【1】ITWMM：https://github.com/menpo/itwmm 3D Reconstruction of "In-the-Wild" Faces in Images and Videos--- J. Booth, A....
3DMM拟合重建人脸（matlab实现全，可直接运行）
07-15
采用3DMM模型，利用人脸68个特征点实现人脸三维重建。 3DMM是一种较为基础的三维人脸统计模型，最早被提出是用于解决从二维人脸图像恢复三维形状的问题。在3DMM方法发展的二十年来，各位学者对其进行了数据扩展和深入研究，又由于神经网络广泛使用，使得3DMM参数优化得到简化，基于3DMM方法的三维重建文章层出不穷。但此类方法基于一组人脸形状和纹理的统计模型来表示任意一张人脸，仍然存在重建人脸判别性较差，参数求解难的问题，目前也是学术界研究的重点方向。
​单张图像三维人脸重建必备入门face3d—3DMM
学姐带你玩AI的博客
12-14 1302
本次的例子是将pipeline生成的图片作用于3DMM，重新拟合成新的图片。
3DMM模型 三维人脸重建的基础模型
04-19
3DMM模型是三维人脸重建的基础模型，用于三维人脸重建任务。(3dmm model is the basic model of 3D face reconstruction, which is used for 3D face reconstruction task.)
TF_FLAME_人脸建模_FLAME人头模型_3D人脸模型库_3dMM_
10-03
3DMM（3D Morphable Models）是3D人脸建模的一种早期方法，它使用低维空间中的线性组合来表示人脸的形状和纹理。与传统的3DMM相比，FLAME模型更先进，因为它考虑了头部的姿态、表情和身份，允许更加精细的控制和更...
减去图像均值matlab代码-3DMM-Face-Sample:DirectX/C++应用程序，演示如何构建和渲染人脸的3D可变形模型(3DM
06-03
热图像均值matlab代码3DMM 人脸样本 帮助我理解微软论文的两部分项目的第二部分。 . 注意：这个项目的目的是帮助我了解什么是 3D Morphable Models (3DMM) 以及它们如何与人脸重建 DNN 一起使用。 虽然它可用于创建...
3维人脸重建代码
10-10
关于三维人脸重建的代码，已经实现。配置好环境就可以运行了。
使用3DMM进行人脸重建中的配准方法
热门推荐
likewind1993的博客
08-06 2万+
前言 关于使用3DMM进行人脸重建的方法已经有不少，相关开源的代码也有不少，但少有用python来写的，突然在github上发现这个face3d，感觉不错分享一下 github地址：https://github.com/YadiraF/face3d 在使用3DMM方法人脸建模的时候，最大的问题便是shape系数以及exp系数的确定，但是在论文中往往是一两句话便略过，使得像我这样的初学者总是一...
基于3DMM的三维人脸重建技术总结
计算机与软件考研
08-15 1105
基于图像的人脸三维重建在人脸分析与娱乐领域里有巨大的应用场景，同时它也可以用于提升人脸关键点检测，人脸识别，人脸编辑等很多任务。本文重点介绍其中基于3DMM模型的核心技术及其研究进展。3DMM模型是？基于人脸图像的三维重建方法非常多，如立体匹配，Structure From Motion(简称SfM)，三维可变形人脸模型(3DMM)等，本文就重点讲述3DMM相关的传统方法和深度学习方法。3DMM...
3D【9】人脸重建:Joint3D Face Reconstruction and Dense Alignment with Position Map Regression
DCD_LIN的博客
03-22 5845
该论文同时预测人脸特征点和3D mesh的顶点坐标x，y，z。人脸特征点没什么好说的，现在已经有很多成功的案例了。主要关注该论文是如何预测顶点坐标的。其实大概想想，就能够大致确定直接预测顶点坐标是有不少困难的。首先是，你不能把所有的顶点拉成一个向量，用全连接层预测；要用卷积层作为输出的话，mesh又不能直接表示成一个固定大小的张量（这正好是用cnn来预测所需要解决的问题，比如将mesh立方体化）。...
3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric
DCD_LIN的博客
02-24 4667
该论文主要是用CNN直接重建3D人脸，而不是预测3DMM模型的参数，网络结构是漏斗网络（ HG）。论文提出了三种方案，第一种是直接从图片重建，第二种是加入了人脸特征点，第三种是多任务（重建+人脸特征点预测）。效果最好的是第二种方法。 值得注意的是，该论文不是直接预测顶点的x、y、z坐标。而是将mesh转成voxel，变成一个192*192*200的矩阵。这样就比较适合CNN。我们先看看mesh...
3DMM相关文章
weixin_40355324的博客
07-18 495
https://blog.csdn.net/likewind1993/article/details/81455882 https://blog.csdn.net/likewind1993/article/details/79177566 https://blog.csdn.net/weixin_37340613/article/details/94390717 https://blog.c...
人脸三维重建 ct图像的三维重建系统
matlab_python22的博客
07-09 358
在下面展示了三维重建系统的基本放啊将人脸筋进行三维重建的结果 可以看出有一点人脸的迹象
3DMM之EOS 原理解析
春秋战车
11-07 1978
一：简介 eos: 一个轻量级的头型3D Morphable面部模型拟合库 GitHub - patrikhuber/eos: A lightweight 3D Morphable Face Model fitting library in modern C++14 1 目前支持以下三种3DMM Surrey Face Model (SFM), 4D Face Model (4DFM) Basel Face Model (BFM) 2009 2 使用到的计算相关库 Eigen,glm 3 其
3D人脸重建与稠密对齐：位置映射回归网络新方法
随着深度学习的兴起，尤其是卷积神经网络（CNN）的应用，研究人员开始利用CNN来从单个2D面部图像中恢复3D信息，比如通过估计3D可变形模型（3DMM）系数或3D模型的扭曲函数。 本文提出的方法创新性地使用了名为UV位置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值