3D人脸关键点和重构调研

最新推荐文章于 2022-10-31 16:55:42 发布
最新推荐文章于 2022-10-31 16:55:42 发布
阅读量1.5k 收藏 9
点赞数 2
分类专栏： CV 人脸 数据集汇总 文章标签： 重构 算法 3D人脸 人脸重构 3DMM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mathlxj/article/details/126342060
版权
CV 同时被 3 个专栏收录
24 篇文章 5 订阅
订阅专栏
数据集汇总
3 篇文章 2 订阅
订阅专栏
人脸
2 篇文章 0 订阅
订阅专栏

一、3D 人脸任务

  • 3D Face Alignment. 从2D图像到3D 关键点回归(例如68个关键点)
    在这里插入图片描述
  • 3D Dense Face Alignment. 从2D图像到3D稠密关键点回归，上万个关键点的人脸模型，例如3DMM模型，将问题转换为对参数的回归.
    在这里插入图片描述
  • 3D face reconstruction. 从一张2D图像中重建出人脸的3D点云模型，即除了形状之外，还要包含每个点的纹理信息(RGB值).
    在这里插入图片描述

二、数据集

序号名称任务数量数据格式备注
1300W-LP关键点/重构60K3DMM参数，2D和3D 68个关键点，MATLAB
2AFLW2000-3D关键点/重构2K3DMM参数，2D和3D 68个关键点，MATLABAFLW数据集前2K张
3Florence关键点/重构2K视频，不同分辨率、视角和放缩53个受试者面部扫描
4AFLW-LFPA关键点3901+129934个关键点AFLW数据集的扩展
5NoW Benchmark重构3D重构图，包含120K个顶点(.obj),7个关键点,bbox由npy格式给出100个受试者, iPhone X获取, 3D面部扫描
6Stirling-HQ / LQ重构Di3D camera system获取,Wavefront obj格式，视频99个受试者

三、算法

序号算法年份编程语言训练代码速度
13DDFA_V22020pytorch+mac or linux无1.35ms/image on CPU+4ms mesh rendering
2RPN2018Tensorflow 1.x + Python 2.7无100FPS on GTX1080
3DeFA2017MATLAB无
4MNN+OR2020Tensorflow + C++无
52DASL2019Pytorch + Matlab无
63DDFA2018Pytorch + Matlab + C++是0.27x128ms on TITAN X
7DECA2020pytorch无120fps on RTX5000
8RingNet2019Tensorlow+python2无
9Deng et al.2019Tensorflow是50FPS on 1080

四、效果排序

在这里插入图片描述
在这里插入图片描述

mathlxj
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于2D正面人脸图像的3D人脸重构设计与实现
04-22
为了实现基于单张 ２维（２Ｄ）正面人脸图像的 ３维（３Ｄ）人脸重构，采用基于形状和 纹理映射的 ３Ｄ人脸重构方法。首先通过主动形状模型及显式形状回归等算法提取预处理后 ２Ｄ人脸图像的特征点及其坐标和纹理...
PyTorch官方实现快速、准确和稳定的3D密集面校准，ECCV 2020。- cleardusk / 3 ddfa_v2
01-27
Towards Fast, Accurate and Stable 3D Dense Face Alignment By , , , Fan Yang, and . The code repo is owned and maintained by . [Updates] 2021.1.15: Borrow the implementation of for the faster mesh rendering (speedup about 3x, 15ms -> 4ms), see for details. 2020.10.7: Add the latency evaluation of the full pipeline in , just run by python3 latency.py --onnx, see evaluation for details. 2020.10.6
人脸识别5.2- insightface人脸3d关键点检测，人脸68个特征点、106个特征点；人脸姿态角Pitch、Yaw、Roll、
qq_15821487的博客
08-23 9974
姿态角分为Pitch、Yaw、Roll，用于表示人脸在空间三维坐标系内的角度，常用于判断识别角度的界限值。各角度阈值如下：Pitch：三维旋转之俯仰角度，范围：[-90（上）, 90（下）]，推荐俯仰角绝对值不大于20度；Yaw：三维旋转之左右旋转角，范围：[-90（左）, 90（右）]，推荐旋转角绝对值不大于20度；Roll：平面内旋转角，范围：[-180（逆时针）, 180（顺时针）]，推荐旋转角绝对值不大于20度；
人脸对齐（十三）--3DDFA
工作笔记
08-21 2万+
Face Alignment Across Large Poses: A 3D Solution(3DDFA2015) 本篇文章针对的问题： 1).一般的人脸特征点定位模型都是基于可见的特征点训练得到的所以不适合侧脸的特征点定位。 2).从正脸到侧脸的大姿态变化导致人脸外观也产生巨大的变化 3).在大姿态下标注不可见的人脸特征点存在巨大的挑战。 解决方案： 提出了一个新的人脸对齐框架3...
人脸3D重建
jcjx0315的博客
11-30 1万+
人脸3D重建    概述 为了提高不同光照和不同角度等实际工况条件下的人脸识别率，用2D人脸重建3D人脸模型，可以得到更多不同角度的人脸数据用于训练，从而提高人脸识别精度。另外用3维人脸数据来做人脸识别要比使用2D人脸图像具有更好的鲁棒性和更高的精度，特别是在人脸角度大，环境光变化，化妆、以及表情变化等复杂的情况下仍然具有较高的识别精度，因为相对于2D人脸图像数据而言，3D人脸包含了
Python基于face-alignment实现2D/3D人脸关键点检测
Together_CZ的博客
05-05 3512
今天在调试一个项目的时候报错缺少face-alignment模块，查询一下发现这个模块号称是世界上精度最高的检测器，瞬间来了兴致，从Git上下载下来学习一下。 仓库地址在这里。 安装方式也很简单pip即可： pip install face-alignment 可以看到：这里官方已经给出来了不错的代码实例，方便直接去使用，对于我来讲官方给的代码实例不太能满足我的需求，因为检测到的68个关键点没有存储下来，另外检测到的关...
3D人脸重建之DECA
年轻即出发，
01-18 1万+
论文：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images Github：https://github.com/YadiraF/DECA 论文提出了基于单张彩色图片进行3d人脸重建的方法DECA(Detailed Expression Capture and Animation) ，在Nvidia Quadro RTX 5000上可以达到120fps。 row 1：原始输入样本数据 row 2：粗糙的形..
DECA的3D人脸重建（3D face reconstruction）
flyfish
12-14 6543
DECA的3D人脸重建（3D face reconstruction） flyfish DECA 全称 Detailed Expression Capture and Animation 论文名字《Learning an Animatable Detailed 3D Face Model from In-The-Wild Images》 原始代码下载地址 https://github.com/YadiraF/DECA 整理好源码和模型下载地址 链接：https://pan.baidu.com/s/1hlY
C# 3D人脸重建，人头姿势估计 源码
最新发布
11-03
在IT领域，3D人脸重建和人头姿势估计是计算机视觉和深度学习的重要研究方向，尤其是在游戏开发、虚拟现实、安全监控以及人脸识别等应用中有着广泛的应用。本项目基于C#编程语言，提供了3D人脸重建和人头姿势估计的源...
shape from shaping 3D重构
04-28
总结来说，"Shape from Shaping 3D 重构" 是一种利用图像中的形状信息恢复物体三维结构的技术，它在计算机视觉、机器人导航、虚拟现实和文化遗产保护等领域有着广泛的应用。通过深入研究和实践，我们可以掌握这一...
基于图像重构和特征融合的人脸识别方法研究.rar
04-13
《基于图像重构和特征融合的人脸识别方法研究》是一份深入探讨人脸识别技术的科研资料，主要关注如何通过图像重构和特征融合技术提升人脸识别的准确性和鲁棒性。在这个领域，图像重构是将原始人脸图像转化为一种更...
PCA主成分分析重构人脸图像
06-11
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，尤其在图像处理领域，它被用来降低数据的维度，...在人脸识别领域，PCA能够有效地提取人脸的关键特征，简化数据，提高识别效率和精度。
DECA（Detailed Expression Capture and Animation）入门之3D人脸重建Demo
10-31 6837
DECA（Detailed Expression Capture and Animation）是单张图实现3D人脸重建。
人脸关键点检测总结
热门推荐
imcy的博客
05-31 9万+
概述 人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。 人脸关键点检测方法大致分为三种： - 基于模型的ASM(Active Shape Model)和AAM(Active Appearnce Model) - 基于级联形状回归CPR(Cascaded pose regression) - ...
AR Camera开发记录（二） -- 3D人脸模型
torchlight2012的博客
07-25 7359
在 AR Camera开发记录（一） – Rajawali的使用末尾的部分，介绍了如何动态修改模型的顶点坐标。 那个例子是用一个最简单的矩形平面模型来说明的。 说白了就是找到需要修改的顶点，然后设置新的坐标值。 而对于3D人脸模型来说，情况要复杂一些，想找到需要的顶点相对来说比较麻烦。 本文主要说一下动态修改3D人脸模型会遇到的问题，以及在了解了这些问题之后如何自己创建3D人脸模型。要注意的
密集人脸对齐-Dense Face Alignment_ICCVW 2017
Bruce_GuoS的博客
12-21 5501
摘要： 在人脸对齐方法中，以前的算法主要集中在特定数量的人脸特征点检测，比如5、34或者68个特征点，这些方法都属于稀疏的人脸对齐算法。在本文中，我们提出了一种针对大角度人脸图像的一种3D密集人脸对齐算法。在该模型中，我们通过训练CNN模型利用人脸图像来估计3D人脸shape，利用该shape来fitting相应的3D人脸模型，不仅能够检测到人脸特征点，还能匹配人脸轮廓和SIFT特征点。此外还解
人脸对齐（十六）--DenseFA
工作笔记
08-21 6277
Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html MatConvNet code model can run at real time during testing 这里针对人脸对齐问题，我们采用 Dense Face Alignment (DeFA) 密集人脸对齐的策略，providing a ...
基于多视角照片的3D人脸重建
zhazhiqiang2010的专栏
03-10 1万+
【原文：http://www.sigvc.org/why/book/3dp/chap5.3.2.htm】 5.3.2 基于多视角照片的3D人脸重建 多视角三维重建的技术原理请详见第6章6.3节“立体视觉重建：将照片转成3D数字模型”，本节主要介绍如何具体地操作和应用。Autodesk（欧特克）公司发布了一个建模软件 Autodesk 123D Catch，有了它，你只需要简单地为物
如何使用 PyTorch 训练自定义关键点检测模型
weixin_43229348的博客
03-17 1万+
默认情况下，PyTorch 提供了一个 Keypoint RCNN 模型，该模型经过预训练以检测人体的 17 个关键点（鼻子、眼睛、耳朵、肩膀、肘部、手腕、臀部、膝盖和脚踝）。 这张图片上的关键点是由这个模型预测的： 我将演示如何使用自定义数据集微调上述模型。为此，我创建了一个带有胶管的图像数据集，并为每个胶管（头部和尾部）分配了两个关键点。 1.图像和标注（自定义数据集） 该数据集包括 111 个训练图像和 23 个测试图像。每个图像都有一个或两个对象（胶管）。 每个图像的注释包括： 边界框坐标（每个
3D光强场的逆向重构
08-01
3D光强场的逆向重构是指通过结构光系统获取物体的三维信息。在结构光三维重建中，首先进行相机标定，确定相机的内外参数。然后，通过结构光条纹中心的提取，即激光线的提取，得到物体表面的纹理信息。接下来，进行结构光标定，将世界坐标系下的三维点转换为相机坐标系下的三维点，并通过多个相机下的三维坐标点拟合出光平面。最后，利用拟合的光平面完成三维重建。[1] 在近景三维重建领域，结构光技术是应用最广泛的方法之一。它具有高精度和无视弱纹理等优点，尤其在工业领域得到广泛应用。结构光技术主要分为线结构光和条纹结构光两大类。线结构光通过激光线的提取来获取物体表面的纹理信息，从而实现三维重建。[2] 关于3D光强场的逆向重构的具体算法和原理，可以参考文献《High-accuracy, high-speed 3D structured light imaging techniques and potential applications to intelligent robotics》。这篇文章详细介绍了如何通过结构光系统获得物体的三维信息，并提供了正确的三维解。[3]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值