facewarehouse

论文阅读

FaceWarehouse

摘要：这是一个3D数据库的构建过程。作者在文中使用了体感捕捉的RGBD相机（RGB表示颜色，D表示Deep，即深度）来拍摄输入图片。数据库包括150名不同年龄不同人种的志愿者，每一个人分别拍摄1个自然表情和19个其他表情。对于每一张原始图片，一组面部特征点被标识出来，例如眼角、嘴巴轮廓。这些都是自动编码的，如果有更高的质量要求可以人工调整。得到上诉数据之后，他们就将一个原始的3D模型进行形变，使得在特征点匹配的前提下，模型和深度数据尽可能的匹配。这样就得到一系列的个人独特的表情模型。这些有一致拓扑结构的数据由一个三阶的矩阵表达，构建一个有两种属性，身份和表情的双线性人脸模型。

引言：人脸3D模型一直是计算机视觉和计算机图形学的热门。许多应用都需要应用到人脸模型。我们提出的模型的原始数据是150个不同年龄（7—80）不同种族背景的受试者，每个人拍摄20张不同表情的照片（一个自然表情，19个其他表情）。由这些原始数据我们可以生成一系列的混合形变模型。这个混合形变模型包含46个运动单元，模拟了脸部肌群的运动。它可以很好地平衡真实感和可调节性，并且充分地描述了一个人脸的绝大部分表情。该数据库可以 应用在四大方面：人脸图片处理，人脸部位迁移，基于性能的实时脸部动画，从视频到图片的人脸动画重现。

FaceWarehouse：我们使用微软的立体感知系统来捕捉每一个受试者不同表情的几何形状和纹理信息。我们标记不同视角下的同一个表情的帧来形成一个平滑、低噪的深度图。由深度图和RGB图像来指导标准模板形变成表情模板。一旦我们得到单一目标的所有表情模板，我们就生成个性化的混合模板。最后，所有受试者的混合模板形成我们的数据库。

A.数据获取：$640\times 480$的2D图片和每秒30帧的深度图。每个人20个表情图，一个自然表情，19个经过选择的在不同个体中变化很大的常见面部动作。每一个表情都会有一个指导模板提供给受试者参考，如有需要会得到员工的协助。

B.表情模型和混合个性化模型的形成：使用ASM在彩色图上定位74个特征点，对于一些变化较大的图片需要手动调节。74个特征点被分为两类：在人脸内部的$m_i$内部特征点和人脸轮廓的$m_c$特征点。给出彩色图与深度图的一致性，我们可以很容易地得到彩色图内部特征点对应的深度图3D位置。

中性表情：用两步生成中性表情的3D模型。先用Blanz和Vetter的形变模型自动生成一个最初的模型，然后用一个变形算法去改善，使得模型更加拟合深度图和特征点。Blanz和Vetter的形变模型在200个中性人脸模型上执行PCA，单独一张人脸可以表达为一个平均人脸和$l$个引导PCA向量的线性组合。$V=\overline{F}+{\sum }_{i=1}^l{\alpha }_i{F}_i$，他们的目标是算出系数${\alpha }_i$使得模型在PCA平面最接近真实值。损失的计算是：
$$E_{fea}=\sum _{j=1}^{m_i}\Vert {\mathbf{v}}_{ij}-{\mathbf{c}}_j{\Vert }^2+\sum _{k=1}^{m_c}\Vert {\mathbf{M}}_{proj}{\mathbf{v}}_{ck}-{\mathbf{s}}_k{\Vert }^2$$
第一项计算内部特征点的匹配，${\mathbf{c}}_j$是第j个特征点的3D坐标（由彩色图和深度图的一致性获得，上文有提到），${\mathbf{v}}_{ij}$就是模型上对应的顶点。第二项计算轮廓点${\mathbf{s}}_k$是彩色图的轮廓点，${\mathbf{v}}_{ck}$是模型对应的3D特征点,${\mathbf{M}}_{proj}$是相机的投影矩阵。在模型V上面的轮廓特征点是这样得来的：我们首先将V的脸部投影到图片上去得到2D人脸网格，然后我们寻找凸包得到轮廓周围的点。在这些点中，我们寻找离彩色图片中轮廓特征点最近的那一个标记为它对应的模型中的特征点。深度图的损失公式如下：
$$E_{pos}=\sum _{j=1}^{n_d}\Vert {\mathbf{v}}_{dj}-{\mathbf{p}}_j{\Vert }^2$$

${\mathbf{v}}_{dj}$是模型中的顶点，${\mathbf{p}}_j$是深度图中最接近${\mathbf{v}}_{dj}$的点，而$n_d$是模型中有对应点在深度图中的顶点的数量。由于有遮挡的现象，模型中不是所有的顶点在深度图中都有对应的点。

还有一个损失需要计算，那就是${\alpha }_i$的正则化，基于形状的概率估计分布：
$$p(\alpha )\sim \exp [-\frac{1}{2}\sum ({\alpha }_i/{\sigma }_i{)}^2]$$
${\sigma }_i$是PCA人脸协方差矩阵的本征值，令$\Lambda =diag(1/{\sigma }_1^2,1/{\sigma }_2^2,\dots ,1/{\sigma }_L^2)$，则
$$E_{coef}=\frac{1}{2}{\alpha }^T\Lambda \alpha$$
总损失就是：
$$E_1={\omega }_1{E}_{fea}+{\omega }_{2}Epos+{\omega }_3{E}_{coef}$$
${\omega }_1=2$，${\omega }_2=0.5$，${\omega }_3=1$。这个损失可以通过最小二乘优化，在他们论文中是迭代了5-8次。在迭代过程中$E_{pos}$和$E_{fea}$由于对应点位置的更新每次都有变化。

当一个初始模型生成之后，一个基于拉普拉斯的形变算法用于优化模型。
$$E_{lap}=\sum _{i=1}^n\Vert L{\mathbf{v}}_i-\frac{{\delta }_i}{L{\mathbf{v}}_i}L{\mathbf{v}}_i{\Vert }^2$$
$L$是基于余切的离散拉普拉斯算子，${\delta }_i$是在变形前的原始拉普拉斯坐标的量级，$n$是模型的顶点数目。模型的变形损失定义为：
$$E_2={\omega }_1^{\prime }{E}_{fea}+{\omega }_2^{\prime }{E}_{pos}+{\omega }_3^{\prime }{E}_{lap}$$
式中，${\omega }_1^{\prime }=0.5,{\omega }_2^{\prime }={\omega }_3^{\prime }=1$，可以使用模糊高斯——牛顿理论来优化上面的损失。

得到表情模型之后，我们可以用这些表情来生成一个混合模型 B = { B 0 , B 1 , … , B 46 } \mathbf{B}=\{B_0,B_1,\dots,B_{46}\} B={B0​,B1​,…,B46​}，这些数据表示一个自然表情加46个FACS混合模型，一个人的表情$H$可以表示为$H=B_0+{\sum }_{i=1}^{46}{\alpha }_i(B_i-B_0)$，${\alpha }_i$表示自然表情$B_0$变形至$B_i$的程度。

由上面的步骤我们获得了150个人的脸部几何结构，每一个人包含47个面部表情。由于这些模型共享相同的拓扑结构，所有的模型顶点数目一致。因此我们可以用一个三阶（3-model）矩阵$T$（11K顶点x150个身份x47个表情）表达模型。

我们使用N模奇异值分解来分解张量。由于大部分的应用只需要合成整张人脸，我们不执行顶点部分的分解（分解150个身份和47个表情）。
$$T{\times }_2{\mathbf{U}}_{id}^T{\times }_3{\mathbf{U}}_{exp}^T=C$$
T是数据张量，C是核心张量。${\mathbf{U}}_{id}$和${\mathbf{U}}_{exp}$是标准正交的转换矩阵，分别包含了身份空间和表情空间的左奇异值。N-modeSVD可以帮助我们旋转数据张量，同时使得每个模型在C的方差由大到小排列。这样我们可以去除C中无意义的部分，得到一个缩减的数据集模型，从而去拟合原始数据集。
$$T\simeq C_r{\times }_2{\check{\mathbf{U}}}_{id}{\times }_3{\check{\mathbf{U}}}_{exp}$$
$C_r$是缩减的核心张量，只保留原始核心张量左上角数据，而后面两项则是移除了相应的后续列。

我们称$C_r$为FaceWarehouse的双线性人脸模型。任何人脸表情可以这样表示：
$$V=C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3{\mathbf{w}}_{exp}^T$$
${\mathbf{w}}_{id}$和${\mathbf{w}}_{exp}$分别是身份和表情的列向量。

作者探讨了核心张量取多少的问题，他们做了一张图，展示了不同数量的行列取法对原始数据的拟合情况。直观结果展示当身份取50表情取25时结果最理想。

应用

A.人脸图片处理：我们首先为双线性模型中的身份属性学习一个回归模型来拟合用户定义的人脸属性，然后根据输入的图片计算身份和表情的权重。用户定义的属性变化通过线性回归模型传至身份权重，一个新的3D人脸模型将根据这些权重生成。新模型最后根据输入的图片描绘纹理颜色，最终生成一张人脸。

人脸特征分析：对于每一个人脸，我们有他（她）的身份权重（k维向量${\mathbf{w}}_{id}$）和$l$个从脸部几何获取的个性化属性 { f 1 , f 2 , … , f l } \{f_1,f_2,\dots,f_l\} {f1​,f2​,…,fl​}，我们需要一个两者之间的转换矩阵
$${\mathbf{M}}_{fea}[f_1,\dots ,f_l,1{]}^T={\mathbf{w}}_{id}$$
我们将所有150人的身份权重和个性化属性聚合成两个矩阵${\mathbf{W}}_{id}(k\times 150)$和$\mathbf{F}((l+1)\times 150)$，则转换矩阵是
$${\mathbf{M}}_{fea}={\mathbf{W}}_{id}{\mathbf{F}}^{+}$$
${\mathbf{F}}^{+}$是$\mathbf{F}$的左伪逆矩阵：${\mathbf{F}}^{+}={\mathbf{F}}^T(\mathbf{F}{\mathbf{F}}^T{)}^{-1}$

那么，个性化特征的变化就可以和用户身份权重匹配到一起了：$△{\mathbf{w}}_{id}={\mathbf{M}}_{fea}△\mathbf{f}$

3D模型和图片的拟合：对于模型中的每一个顶点，投影到图片中是
$${\mathbf{p}}_k=s{\mathbf{R}\mathbf{v}}_k+\mathbf{t}$$
其中，s是转换的比例系数，$\mathbf{R}$是旋转矩阵，$\mathbf{t}$是平移矩阵。

那么，损失函数就变为：
$$E_k=\frac{1}{2}\cdot \Vert s\mathbf{R}(C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3{\mathbf{w}}_{exp}^T{)}^{(k)}+\mathbf{t}-{\mathbf{s}}^{(k)}{\Vert }^2$$
${\mathbf{s}}^{(k)}$是彩色图上的特征点。

B. 人脸部件转换

通过人脸部位的复制和粘贴，我们可以在人脸图片上修改表情。输入是同一个人的两张照片，一张是目标图片但包含不需要的表情，另一张是参考图片包含我们想要的表情。由于两张照片是同一个人的，它们在身份权重上应该是一样的，因此，我们需要计算出统一的身份权重（${\mathbf{w}}_{id}^T$）和两个表情的权重（${\mathbf{w}}_{exp-1}^{T}and{\mathbf{w}}_{\mathbf{e}\mathbf{x}\mathbf{p}-2}^{\mathbf{T}}$）损失就是
$$E_k^{joint}=\frac{1}{2}\sum _{j=1}^2\Vert s_j{\mathbf{R}}_j(C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3{\mathbf{w}}_{exp-j}^T{)}^{(k)}+{\mathbf{t}}_j-{\mathbf{s}}_j^{(k)}{\Vert }^2$$
我们首先用最后一节的方法计算出一个初始的身份和表情的模仿3D模型，然后通过上面的损失函数修改${\mathbf{w}}_{id}^T$、${\mathbf{w}}_{exp-1}^T$、${\mathbf{w}}_{\mathbf{e}\mathbf{x}\mathbf{p}-2}^{\mathbf{T}}$。首先我们固定${\mathbf{w}}_{exp-1}^T$、${\mathbf{w}}_{\mathbf{e}\mathbf{x}\mathbf{p}-2}^{\mathbf{T}}$，由最小化损失函数计算出${\mathbf{w}}_{id}^T$，接下来固定${\mathbf{w}}_{id}^T$分别计算出${\mathbf{w}}_{exp-1}^T$、${\mathbf{w}}_{\mathbf{e}\mathbf{x}\mathbf{p}-2}^{\mathbf{T}}$。后面的步骤迭代进行直到结果收敛。两张人脸模型表示为
$$\begin{gathered} V_1=C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3{\mathbf{w}}_{exp-1}^T, \\ {V}_2=C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3{\mathbf{w}}_{exp-2}^T. \end{gathered}$$
我们使用两个人脸模型去为目标图片计算一个表情流，使得目标图片的表情拟合我们需要的表情。同时我们也计算一个2维校准流，使得参考人脸形变为一个合适的大小和一致的位置，方便转换。最后，我们在参考图片上选择一个实验区域，将它转移到形变之后的目标图片上。

C. 基于性能的实时人脸图片动画

我们首先用第四节A的理论去计算身份和表情权重，然后为输入图片生成一个3D模型，并且为这个模型生成混合形变模型。最后，我们用基于体感的人脸动画系统去捕捉人脸表情，并作为混合形变模型的系数。

假设一个人脸的身份权重是${\mathbf{w}}_{id}$，我们可以构造表情混合模型
$$B_1=C_r{\times }_2{\mathbf{w}}_{id}^T{\times }_3({\check{\mathbf{U}}}_{exp}{\mathbf{d}}_i),0\le i\le 47$$
${\check{\mathbf{U}}}_{exp}$是第三节C描述的转换矩阵的截短矩阵，${\mathbf{d}}_i$是表情权重向量，仅第i位元素值为1，其余元素值为0。只要设定好系数${\beta }_i$，根据公式$V=B_0+{\sum }_{i=1}^{46}{\beta }_i(B_i-B_0)$，我们可以在相同的照片上生成不同的表情。

阵，${\mathbf{d}}_i$是表情权重向量，仅第i位元素值为1，其余元素值为0。只要设定好系数${\beta }_i$，根据公式$V=B_0+{\sum }_{i=1}^{46}{\beta }_i(B_i-B_0)$，我们可以在相同的照片上生成不同的表情。