3D人脸重建(二) 数据

已下载:

一、300W

http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm

三维密集人脸对齐(3D Dense Face alignment, 3DDFA),将稠密的三维人脸模型拟合到图像中。

 [Face Profiling]: The MATLAB code to synthesize large-pose face appearances with 3D Face Model.

[3DDFA]: The MATLAB code to fit 3DMM to a face image across large poses.

[300W-3D]: The fitted 3D Morphable Model (3DMM) parameters of 300W samples.

https://drive.google.com/file/d/0B7OEHD3T4eCkRFRPSXdFWEhRdlE/view?usp=sharing&resourcekey=0-Sky86TLl67s-P8wMVwRdmQ

[300W-3D-Face]:The fitted 3D mesh, which is needed if you do not have Basel Face Model (BFM)

https://drive.google.com/file/d/0B7OEHD3T4eCkZmgzUWZfd2FVVWs/view?resourcekey=0-Vbi3jgsoGqIoGXKtfFkWCw

[300W-LP]: The synthesized large-pose face images from 300W.

https://drive.google.com/file/d/0B7OEHD3T4eCkVGs0TkhUWFN6N1k/view?usp=sharing&resourcekey=0-WT5tO4TOCbNZY6r6z6WmOA

 [AFLW2000-3D]:The fitted 3D faces of the first 2000 AFLW samples, which can be used for 3D face alignment evaluation.

http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3ddfa/Database/AFLW2000-3D.zip

二、Spacetime Faces:   Spacetime Faces

《Spacetime Faces: High-Resolution Capture for Modeling and Animation》

384个face mesh的序列,ply格式,每个mesh 23728个顶点。

mesh的索引从306到1455,索引增加3。

http://grail.cs.washington.edu/projects/stfaces/data/face205_ply.zip

三、 LS3D-W(人脸图像来自AFLW, 300VW, 300W和FDDB) 

只提供3D landmark

​​​​​​How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) | Adrian Bulat

dataset:  Proton Drive

The balanced subset https://www.adrianbulat.com/downloads/FaceAlignment/LS3D-W-balanced-20-03-2017.zip
demo code GitHub - 1adrianb/2D-and-3D- face-alignment

需申请:

一、 FRGC2   

FRVT 2006 and ICE 2006 large-scale experimental results (depth and texture image) 需申请

Notre Dame CVRL

二、BU-3DFE     ***  BFM2017用到

A 3D facial expression database for facial behavior research (mesh and texture image) 需申请

3D Facial Expression Database - Binghamton University

三、 Bosphorus   

Bosphorus database for 3D face analysis  (depth and texture)  需申请

Bosphorus Database

四、Florence

The Florence 2D/3D Hybrid Face Dataset  (triangle mesh and texture) 需申请

 MICC - Media Integration and Communication Center    


五、FaceWarehouse 

FaceWarehouse: A 3D facial expression database for visual computing (640*480 RGBD + triangle mesh )需申请

 FaceWarehouse

六 、CASIA 3D Face Database

(640×480 depth map and texture image)

BI​​​​​​T

七、Biwi 3D Audiovisual Corpus of Affective Communication  (B3D(AC)ˆ2)

 (triangle mesh and 780×580 texture image +1024×768 UV texture map) 需申请

 ETHZ - Computer Vision Lab: 

八、D3DFACS - Dynamic 3D Facial Action Coding System (triangle mesh and 1024×1280 UV texture map)

index.html    

九、 Headspace (triangle mesh, 2973×3055 UV texture map) 需申请

A 3D Morphable Model of Craniofacial Shape and Texture Variation

The Headspace dataset

十、CoMA (triangle mesh, texture images) 需申请

Generating 3D faces using Convolutional Mesh Autoencoders

CoMA

十一、VOCASET (triangle mesh, texture images) 需申请

Capture, Learning, and Synthesis of 3D Speaking Styles

VOCA

十二、4DFAB

4DFAB: A Large Scale 4D Database for Facial Expression Analysis and Biometric Applications (triangle mesh and UV texture) 

i·bug - resources - 4DFAB: A Large Scale 4D Face Database for Expression Analysis and Biometric Applications

十三、York 3D Face Database (depth map and texture image) 需申请

Three-dimensional face recognition using combinations of surface feature map subspace components

index   

十四、3DRFE (triangle mesh + 1296×1944 diffuse and specular albedo maps + hybrid normal maps)

Effect of illumination on automatic expression recognition: a novel 3D relightable facial database

3DFRE Database

十五、BP4D-Spontaneous (triangle mesh + 1040 × 1,329 texture image) 需申请

BP4D-Spontaneous: a high-resolution spontaneous 3D dynamic facial expression database

3D Facial Expression Database - Binghamton University

2D image生成3D groundtruth

Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition》从二维人脸识别数据库CASIA-Webface构建训练数据,多张图片拟合3DMM based on BFM。 MICC(3D mesh),BU-3DFE(mesh),LFW(Labeled face in the wild)和YTF(Youtub Face)数据库全面实验。

Regressing robust and discriminative 3D morphable models with a very deep neural network》参考Automated 3D Face Reconstruction from Multiple Images using Quality Measures。在CASIA-Webface数据库,先对数据集中500k张图像进行3DMM重建,得到各自的相关参数(主要是形状和纹理,其次还有相机参数和光照);再对属于同一个 object 进行处理,使得同一个 object 的三维结果一致,一般是取平均。

《Self-Supervised Adaptation of High-Fidelity Face Models for Monocular Performance Tracking》 收集新的数据集,高分辨率(1920×1080)、in the wild、3D mesh,base on 受控实验室环境中捕获的高质量人脸模型《Deep appearance models for face rendering》

虚拟人脸生成

***1、3D face reconstruction by learning from synthetic data

弱透视投影和Phong反射模型来渲染合成图像。

***2、SfSNet: Learning shape, re ectance and illuminance of faces “in the wild”

SfSNet通过输入一张人脸图像,从中恢复形状,反射和光照这三方面的信息

使用虚拟数据,3D建模的各种脸,记录了它们的Ground-Truth normal, albedo 和 lighting,

同时使用真实的人脸图像CelebA dataset,有RGB图像,没有GT的形状,反射,和光照信息。

在有标签的合成数据上训练一个简单的基于跳跃连接的编码—解码网络。将此网络应用于真实数据,以获得法向,反照率和照明估计,在下一阶段用作“伪监督”。

用带有GT标签的合成数据和带有“伪监督”标签的真实数据训练SfSNet。 损失除了法向,反照率和光照的监督损失,还有重建损失,其旨在最小化原始图像和重建图像之间的误差。、

重构模型与合成图像结合

1、Face normals “in-the-wild" using fully convolutional networks

使用LSFM作为3DMM,并使用FaceWarehouse模型添加表情。基于ICT-3DRFE数据库和Photoface数据库构建训练数据集,以生成改变光照的合成图像。用同样的模型,他们随机生成合成的3D人脸,这些人脸与野外图像对齐,为渲染提供真实的背景。

ICT-3DRFE: effiect of illumination on automatic expression recognition: a novel 3D relightable facial database

Photoface: The Photoface database

2、Deep monocular inverse face rendering

使用虚拟人脸构建了第一个训练集,用于对网络进行预训练。然后,在迭代训练期间,使用预训练的网络从真实图像中估计模型参数。在绘制合成图像之前,将高斯噪声添加到这些估计参数中,用于在下一次迭代中训练网络。

自带数据集的论文

1、Dual neural networks coupling data regression with explicit priors for monocular 3D face reconstruction(未找到)

用3DMM拟合二维图像,再与三角化深度图像进行非刚性配准,获得相同三角化的真值三维人脸
 

2 、Beyond 3DMM space: Towards fine-grained 3D face reconstruction

对RGB-D图像进行3DMM拟合,根据几何和纹理的对应关系进行非刚性配准。

​​​​​​GitHub - XiangyuZhu-open/Beyond3DMM: Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction, ECCV, 2020

3、Multi-view 3D face reconstruction in the wild using siamese networks (未找到)

6000多人捕捉2D图像和3D人脸

4、AvatarMe: Realistically renderable 3D facial reconstruction "in-the-wild"

200多人在7种不同表情下的3D脸和reflectance maps

RealFaceDB  待开源

5、Lightweight photometric stereo for facial details recovery

GitHub - Juyong/FacePSNet: Source code for the paper "Lightweight Photometric Stereo for Facial Details Recovery" (CVPR2020).

84名不同种族、性别和年龄的受试者,每个受试者有29种不同的表情。1600*1200分辨率。利用在不同近点光照位置和光照条件下拍摄的图像重建具有丰富细节的三维人脸模型。

数据增强:

(a)从3DMM中随机生成形状和表达式参数生成不同的图形,并将在真实数据集中获得的反照率进行转换。

(b)使用非刚性ICP将Light Stage 数据集中的人脸模型与平均形状进行拟合,并结合真实数据集中的反照率生成训练数据。

Light Stage : Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination

一个公开的数据集,包含了23个人,他们拥有15种不同的表情和相应的高分辨率3D模型(未找到)

3D human body dataset

3D Human Datasets - Software Developer

CG&VG Projects

Yulan Guo's Homepage

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
3D人脸重建是指将2D人脸图像转换为3D人脸模型的过程,可以应用于虚拟现实、人脸识别、面部表情分析等领域。下面是一个简单的3D人脸重建流程: 1. 采集人脸数据:使用3D扫描仪或者多角度拍摄等方式采集人脸数据。 2. 人脸对齐:将人脸数据进行对齐,使得不同角度的人脸数据能够拼接在一起。 3. 特征点提取:使用人脸关键点检测算法,提取人脸的关键点信息。 4. 三角剖分:将人脸模型进行三角剖分,得到人脸模型的面信息。 5. 纹理映射:将2D人脸图像映射到3D人脸模型上,得到3D人脸模型的纹理信息。 6. 优化重建结果:使用光照估计、纹理平滑等算法对重建结果进行优化。 Python中可以使用一些开源框架来实现3D人脸重建,比如OpenCV、Dlib、Face3D等。其中Face3D是一个用于3D人脸重建的Python库,它提供了人脸对齐、关键点检测、三角剖分、纹理映射等功能。以下是一个使用Face3D进行3D人脸重建的Python代码: ```python from face3d import mesh from face3d.morphable_model import MorphabelModel # 加载3D人脸模型 model = MorphabelModel('model.mat') # 读取人脸图像并进行人脸对齐和关键点检测 img = mesh.load_image('face.jpg') pos = model.get_landmarks(img) # 三角剖分 vertices = model.predict_vertices(pos) faces = model.faces # 纹理映射 texture = mesh.texture_mapping(img, vertices, model.uv_coords, model.triangles) # 可视化3D人脸模型 mesh.render_texture(vertices, faces, texture) ``` 这段代码使用Face3D库加载了一个3D人脸模型,并且使用人脸图像进行了人脸对齐和关键点检测。然后,使用模型预测顶点坐标和面信息,并且使用纹理映射将2D人脸图像映射到3D人脸模型上。最后,使用mesh.render_texture函数可视化3D人脸模型。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值