![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
单视图三维人脸重建
文章平均质量分 94
读过的一些单视图三维人脸重建的顶会文章,写成简洁易懂的博客作为自己的备忘录,同时也分享给大家。
理想很丰满,现实很骨感
这个作者很懒,什么都没留下…
展开
-
OSTeC: One-Shot Texture Completion
1. 相关工作1.1 普通人脸图像的自动生成一般来说使用GAN,特别是styleGAN来生成人脸的图像,但是有个问题人脸的特征难以解耦合:因为它的过程是参数—>参数空间—>图像,顶多来说,我们知道在低分辨率部分的参数控制着人脸的轮廓之类,高分辨率控制着人脸的具体细节,但是如果我想让侧着的人脸给正过来,就不知道该调节哪个部分比较好了对于一张任意的野生图像,我也很难将其投射回styleGAN的原始参数空间因此,为了更好地控制GAN的生成,又有了许多image-image tran原创 2022-03-07 22:28:22 · 1326 阅读 · 3 评论 -
AvatarMe: Realistically Renderable 3D Facial Reconstruction “in-the-wild”
概述与相关工作从野生图像中,缺乏相关的方法能够生成高分辨率、真实感的三维人脸,主要原因是:缺乏可用的训练数据即使有高分辨率数据,也缺乏具有鲁棒性的方法本文提出的AvatarMe方法,是第一种能够基于单张的野生的图像,重建真实感三维人脸的方法PCA方法,虽然能够表示重建人脸的最基本的特征,但是在高频的纹理与几何细节上却有所欠缺,况且也无法表示野生数据中人脸的复杂纹理。随着深度学习的到来,许多编码-解码架构的方法开始被采用,去推理人脸三维几何、反射、光照,但是由于使用的光照模型限制(Lambert原创 2022-01-18 11:46:18 · 3717 阅读 · 0 评论 -
FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
1. 简介本文的贡献:提出了一个大尺度高细节的三维人脸数据集FaceScape,采集938个人的20种表情,共18760个三维人脸数据集三维模型具有孔隙级别的精度,并且被处理成拓扑一致性,如果想查看大致形状可使用3DMM系数,如果想更精细一点再加张位移图即可提出了一种基于单张图片进行三维人脸重建并且可以自由编辑的方法方法原始数据—>拓扑一致(+位移图)—>双线性模型(身份和表情维度)先前的方法只能估计大致形状,没有皱纹等小尺度特征,关键的问题在于如何去预测由表情变化导致的小尺原创 2021-11-05 22:28:10 · 3036 阅读 · 0 评论 -
StyleRig: Rigging StyleGAN for 3D Control over Portrait Images
1. 简介文章《StyleRig: Rigging StyleGAN for 3D Control over Portrait Images》发表于CVPR2020,讲述了一种操控styleGAN生成我们想要的人脸图像的方法1.1 motivationstyleGAN可以生成逼真的人脸图像,但是缺乏姿态,表情,光照等属性的可控性,因为这些属性在latent code space都是高度耦合的一般的3DMM方法进行三维人脸重建后,渲染出的图像不真实,并且缺乏人脸的其它部分,比如头发,嘴巴内部,背景等原创 2021-07-15 14:58:18 · 798 阅读 · 0 评论 -
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using GCN
简介2019年的GANFit方法,第一次使用了GAN网络去生成高保真的人脸纹理图,训练好GAN之后,通过可微渲染去优化latent code。缺点便是训练GAN网络需要大量的人脸纹理图,而这些图像获取是很困难的。贡献如下:提出了一个由粗到细的框架,重建高保真的面部纹理图,解决了之前方法的需要大量纹理图数据的问题第一次将GCN应用在高保真面部纹理重建上,取得较好的效果...原创 2021-07-15 12:45:05 · 740 阅读 · 0 评论 -
IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSE GRAPHICS AND INTERPRETABLE 3D NEURAL RENDERING
相关工作从2D重建3D一方面的工作是基于三维标注的数据集,用神经网络预测三维信息,但是多数的三维数据集本身就是合成的,与真实世界的图像还是有一定的差距的,因此限制了这些方法的表征范围。可微分渲染通过将传统渲染过程可微,不再依赖三维数据集,在合成数据集ShapeNet上取得了较好的效果,然而在一些真实数据集上因为需要手工标注的关键点,导致结果不是那么精确。一些工作探索了无监督方法进行重建,通过添加一些额外的自监督限制(应该是各种损失函数),但是重建限制在了2.5D并且在添加额外监督后效果又变得不好了原创 2021-06-14 20:33:48 · 538 阅读 · 2 评论 -
Inverting Generative Adversarial Renderer for Face Reconstruction
相关研究介绍目前的主流人脸三维重建技术大致分为两类方式,基于学习的方式与基于优化的方式。基于学习的方式,是借助CNN来回归控制人脸三维结构的3DMM系数,但是缺点便是依赖三维标注数据集,而3DMM的真实值其实是很难获取到的,这种三维数据集非常稀缺;基于优化的方式,是将所输入的二维人脸图像看做是一个生成的过程,由一系列的参数控制,如albedo(可以理解为人脸表面的不加光照的基础颜色)、纹理、光照、观察角度等,按照特定的渲染图像的法则最终计算出来二维人脸图像,而这样我们就可以通过比较渲染图像与输入图像的差异原创 2021-05-24 00:12:56 · 1194 阅读 · 1 评论 -
3DCaricShop: A Dataset and A Baseline Method for Single-view 3D Caricature Face Reconstruction
文章概述3DCaricShop指的是文章提出的一种数据集,而这篇文章是关于二维讽刺漫画(标题里是caricture,个人觉得翻译成讽刺漫画更加合适)的单视图三维重建。关于单视图三维人脸重建的研究有很多,这篇文章算是在这个领域的一个更小的分支(讽刺漫画人脸)做出了一些工作,可以主要概括为如下几点:做出了3DCaricShop这样一个数据集,算是该领域的第一个大规模数据集对于单视图讽刺漫画三维人脸重建,提出了一种baseline方法当然这两点还有许多细节,后面慢慢道来相关工作关于数据集基于2D原创 2021-05-01 19:54:04 · 748 阅读 · 0 评论 -
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
1. 论文大致介绍论文是基于GAN网络的高精度、基于单张图片的人脸三维重建,重建效果如下图所示我们可以看到人脸的细节还原得特别详细,总而言之,本篇论文的特点如下与传统生成3dmm的颜色系数的方法不同,本文使用GAN网络生成一张高分辨率的人脸UV纹理图,代替3dmm颜色系数来表示人脸的纹理,因此能够还原出很多详细的细节基于设计的GAN网络与可微渲染器(三维的物体渲染成二维图像的时候,其实本质上是进行了一系列矩阵变换,这和神经网络有一定的相似之处,渲染相当于前向传播,而进行反向传播的时候,其实就是根原创 2021-02-18 22:40:52 · 1655 阅读 · 4 评论 -
3D Face Reconstruction from A Single Image Assisted by 2D Face Images in the Wild (2DASL)
目录1. 文章大致介绍2. 相关工作2.1 关于三维人脸重建与密集人脸对齐3. 本文核心方法3.1 如何生成三维模型3.2 损失函数的定义3.2.1 普通训练损失3.2.2 自监督训练损失1. 文章大致介绍先看本文的人脸重建效果图:图片备注:第一三行是借助人脸重建实现的人脸密集对齐(当然这里仅仅展示了人脸的68个点),第二四行是人脸重建最终的渲染效果。我们可以看到第三四五列的人脸有侧脸情况,所以对于一般的人脸对齐方法而言,效果可能不是很好,但是借助三维人脸重建实现的密集人脸对齐能够有效地解决侧原创 2021-03-19 22:10:03 · 952 阅读 · 0 评论