由人脸图片重建出三维人脸网格

最新推荐文章于 2024-09-03 07:58:29 发布

江河湖海times

最新推荐文章于 2024-09-03 07:58:29 发布

阅读量9.6k

点赞数 1

分类专栏： paper

本文链接：https://blog.csdn.net/jiang_he_hu_hai/article/details/81260761

版权

paper 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了人脸参数化模型的基础知识，包括人脸形状、表情及纹理的建模方法，并探讨了三维旋转平移、投影等技术的应用。此外，还提到了球谐函数在光照模型中的作用，以及基于深度学习的人脸重建算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

预备知识。

人脸的参数化模型

V (α) = A s    平 均 人 脸 + \sum i α i    形 状 系 数 E s, i    形 状 主 元

$V(\alpha)=\underbrace{A_{s}}_{\text{平均人脸}} + \sum_{i} \underbrace{\alpha_{i}}_{\text{形状系数}} \underbrace{E_{s,i}}_{\text{形状主元}}$
这里写图片描述

对数据库中的人脸，提取特征点，把每一张人脸的特征点转化成一个高维向量，计算所有向量的均值。用人脸向量减去均值向量，得到向量进行主成分分析，取特征值模长最大的几个方向作为形状主元。
同样的道理，利用PCA(主成分分析)对于同一个人脸的不同表情或者纹理也可以构建类似的模型。
人脸表情模型
表现人脸表情：混合模型

V (δ) = A s    中 性 表 情 + \sum j δ j    表 情 系 数 E e, j    B l e n d s h a p e s

$V(\delta)=\underbrace{A_{s}}_{\text{中性表情}}+\sum_{j} \underbrace{\delta_{j}}_{\text{表情系数}} \underbrace{E_{e,j}}_{Blendshapes}$
这里写图片描述

人脸纹理模型

R (β) = A r + \sum i β i E r, i

$R(\beta) = A_{r} + \sum_{i} \beta_{i} E_{r,i}$
这里写图片描述

那么我们要表现不同人的不同表情和纹理，怎么办呢？一个简答的做法就是把他们都加起来：

V (α, δ) = A s + E s α + E e δ

$V(\alpha,\delta)= A_{s} +E_{s} \alpha +E_{e} \delta$

R (β) = A r + E r β

$R(\beta)=A_{r}+E_{r} \beta$
这里

ET∙E∙=diag(⋯,[σ∙k]2,⋯) E ∙ T E ∙ = d i a g ( ⋯ , [ σ k ∙ ] 2 , ⋯ ) $E_{\bullet}^{T}E_{\bullet} = diag (\cdots,[\sigma^{\bullet}_{k}]^{2},\cdots)$
这里写图片描述

三维的旋转平移

R x (θ) = ⎛ ⎝ ⎜ 100 0 cos (θ) sin (θ) 0 - sin (θ) cos (θ) ⎞ ⎠ ⎟ R y (θ) = ⎛ ⎝ ⎜ cos (θ) 0 - sin (θ) 010 sin (θ) 0 cos (θ) ⎞ ⎠ ⎟ R z (θ) = ⎛ ⎝ ⎜ cos (θ) sin (θ) 0 - sin (θ) cos (θ) 0 001 ⎞ ⎠ ⎟ (4)

$\begin{equation} R_{x}(\theta)\!=\! \left( \begin{array}{ccc} 1\!&\!0\!&\!0\\ 0\!&\!\cos(\theta)\!&\!-\sin(\theta)\\ 0\!&\!\sin(\theta)\!&\!\cos(\theta)\\ \end{array} \right)\\ R_{y}(\theta)\!=\! \left( \begin{array}{ccc} \cos(\theta)\!&\!0\!&\!\sin(\theta)\\ 0\!&\!1\!&\!0\\ -\sin(\theta)\!&\!0\!&\!\cos(\theta)\\ \end{array} \right)\\ R_{z}(\theta)\!=\! \left( \begin{array}{ccc} \cos(\theta)\!&\!-\sin(\theta)\!&\!0\\ \sin(\theta)\!&\!\cos(\theta)\!&\!0\\ 0\!&\!0\!&\!1\\ \end{array} \right) \end{equation}$
整体旋转矩阵：

T = R x (θ x) R y (θ y) R z (θ z)

$T=R_{x}(\theta_{x})R_{y}(\theta_{y})R_{z}(\theta_{z})$
投影
假设投影变换将

(x,y,z)∈R3 ( x , y , z ) ∈ R 3 $(x,y,z)\in \mathbb{R}^{3}$ 变换为

(u,v)∈R2 ( u , v ) ∈ R 2 $(u,v)\in \mathbb{R}^{2}$
平行投影：

u=x,v=y u = x , v = y $u=x,v=y$
透视投影：

u = f x x z + c x, v = f y y z + c y

$u=f_{x} \frac{x}{z} + c_{x} , v=f_{y} \frac{y}{z} + c_{y}$
这里写图片描述

球谐函数
在2001年，Basri和Jacobs证明了曲面上的像素值可以使用9维的球谐基函数进行线性表示，这种光照模型只需要估计球谐基函数前面的权值，不需要光源的方向，大大简化了光照的估计。点p处的像素值等于p处的反射率乘以球谐基函数的线性组合，用数学公式表示一下就是：

C (r i, n i, γ) = r i \cdot \sum b = 1 B 2 γ b H b (n i)

$C(r_i,n_i,\gamma)=r_i \cdot \sum^{B^{2}}_{b=1} \gamma _b H_b(n_i)$

第一篇文章

MoFA:Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction
这篇文章将一张人脸照片通过深度学习的方法学习到各个参数从而重建出三维人脸模型。

这里写图片描述

算法框架

这里写图片描述

参考文献

[1] Tewari A, Zollhöfer M, Kim H, et al. Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction[C]//The IEEE International Conference on Computer Vision (ICCV). 2017, 2(3): 5.
[2] Tewari A, Zollhöfer M, Garrido P, et al. Self-supervised multi-level face model learning for monocular reconstruction at over 250 hz[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2549-2559.