FaceWarehouse: a 3D Facial Expression Database for Visual Computing

FaceWarehouse: a 3D Facial Expression Database for Visual Computing

IV.应用

FaceWarehouse能被应用在多种视觉计算应用中。在这部分，我们展示4个实例应用：facial image manipulation，face component
transfer，real-time performance-based facial image animation，和facial animation retargeting from video to image。请参考补充材料中的演示视频。

A. facial image manipulation

在该应用中，用户可以操控人脸的特征属性，例如脸的长度，嘴的尺寸，鼻子的高度以及种族，（操控）直接体现在输入的单张人脸图片中。在FaceWarehouse中因为我们只有identity和expression两个属性，我们首先学习一个线性回归模型，该模型将一系列用户定义的人脸属性映射为bilinear face model（人脸双线性模型）中的identity属性。然后，我们为输入的人脸图片计算在bilinear face model（人脸双线性模型）中的identity和expression权重。通过该线性回归模型，用户定义的人脸属性变化被映射为identity属性，然后根据这些权重建立一个新的3D face mesh（人脸三维模型）。最后，使用输入图片的颜色纹理来渲染新的3D face mesh（人脸三维模型）得到新的相关特征已改变的人脸图片。

Facial feature analysis（人脸特征分析）。为了使用自然语言来分析人脸属性（例如嘴的宽度，脸的长度），我们使用multi-variate linear regression(多变量线性回归)[22]算法将这些属性映射为bilinear face model（人脸双线性模型）中的identity属性。对于FaceWarehouse采集的每一个人，我们都有他（或她）的identity权重（一个$k$维的向量$w_{id}$）和$l$个用户设定的从该人的人脸几何信息中计算得到的属性$\{f_1,f_2,...,f_l\}$。我们需要建立一个$k×(l+1)$维的矩阵$M_{fea}$将这些用户设定的属性映射为identity权重，

$$M_{fea}[f_1,...,f_l,1]^T=w_{id}.(11)$$

我们将所有150个人的identity权重的向量和用户设定的属性组合成两个矩阵，比如分别为$W_{id}(k×150)$和$F((l+1)×150)$。映射矩阵$M_{fea}$可以由下式求解

$$M_{fea}=W_{id}F^+.(12)$$
其中 $F^+$是 $F$的左伪逆，即$F^+=F^T(FF^T)^{-1}$。

借助$M_{fea}$，我们能够直接将用户设定的属性的变化量$\Delta f$映射为identity权重的变化量$\Delta w_{id}$，即$\Delta w_{id}=M_{fea}\Delta f$。将$\Delta w_{id}$加在输入图片的identity权重之上，我们就能生成一个新的人脸并且它的属性有了相应的改变。

Fitting 3D face mesh to image（图像到三维人脸模型的拟合）。为了使用我们的bilinear model（双线性模型）计算与人脸图像相匹配的三维人脸模型，我们首先使用已经在III-B节提到的方法在图片上定位一系列人脸特征点。然后我们估计人脸模型的刚性变换以及bilinear face model（人脸双线性模型）的identity和expression权重来最小化图像特征点与face mesh（人脸模型）特征点之间的匹配误差。

根据现有工作[5]，我们假设相机为弱透视投影。每一个mesh的顶点$v_k$投影到图像空间为

$$p_k=sRv_k+t.(13)$$
其中刚性变换包含一个缩放影子s，一个三维旋转矩阵 $R$和一个平移矩阵$t$。mesh的顶点位置 $v_k$可以根据(10)式从人脸双线性模型计算得到。

图像特征点和mesh特征点之间的匹配误差定义为

$$E_k=\frac12·||sR(C_r×_2w_{id}^T×_3w_{exp}^T)^{(k)}+t-s^{(k)}||,(14)$$
其中 $s^{(k)}$是图像上的特征点位置坐标。

该能量可简单地使用[5]中描述的coordinate-descent method（梯度下降法）最小化。

B. Face component transfer

该应用