Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images（CVPR20）

首先进行一些科普

3D Face Fitting

$\mathbf{V}=\left[v_1,v_2,\cdots ,v_n\right]\in {\mathbb{R}}^{3\times n}$表示一个含有$n$个顶点的3D mesh

将3D mesh按照 P = { f , R , h 2d } \mathbf{P}=\left \{ f, \mathbf{R}, \mathbf{h}_\text{2d} \right \} P={f,R,h2d​}所表达的face pose信息，投影到2维平面上
$$\Pi (\mathbf{V},\mathbf{P})=f\ast {\mathbf{p}}_{\mathbf{r}}\ast \mathbf{R}\ast \mathbf{V}+{\mathbf{h}}_{\text{2d}}(1)$$

$\Pi :{\mathbb{R}}^{3\times n}\to {\mathbb{R}}^{2\times n}$称为the projection function（给定3维坐标$(x,y,z)$，求2维坐标$(x,y)$），${\mathbf{p}}_{\mathbf{r}}\in {\mathbb{R}}^{2\times 3}$是the orthographic projection matrix（是不是就是简单地去掉z轴坐标就行了？）

P = { f , R , h 2d } \mathbf{P}=\left \{ f, \mathbf{R}, \mathbf{h}_\text{2d} \right \} P={f,R,h2d​}中$f\in \mathbb{R},\mathbf{R}\in {\mathbb{R}}^{3\times 3},{\mathbf{h}}_{\text{2d}}\in {\mathbb{R}}^2$，意思是要将3D mesh与2D图像中的人脸对齐，需要进行缩放、旋转、以及2D平面上的平移

注：对一幅图像使用3DDFA，可以得到parameter

Acquiring Textures

3D mesh的每一个vertex $v_i$都绑定了一个RGB texture $t_i$，绑定方式为the simplest vertical projection，公式化表达如下
$$t_i=\mathbf{I}\left(\Pi \left(v_i,\mathbf{P}\right)\right)(2)$$
其中$\mathbf{I}(\cdot ,\cdot )$，表示在图像$\mathbf{I}$上取像素值

将$n$个vertices绑定texture的过程总结为公式(3)
T = GetTex ( I , { V , P } ) ( 3 ) \mathbf{T}=\text{GetTex}\left ( \mathbf{I}, \left \{ \mathbf{V}, \mathbf{P} \right \} \right ) \qquad(3) T=GetTex(I,{V,P})(3)

对于正脸，the simplest vertical projection基本能够保证纹理绑定的唯一性；但是对于侧脸，自遮挡区域的那些顶点，在做垂直投影时，绑定的纹理其实是错的，绑定到了能看到那一面的纹理，这些出错的纹理，交给后续的GAN来解决

Rendering

Rendering可以理解为Acquiring Textures的逆，公式化表达如下
Rd = Render ( { R , P , T } ) ( 4 ) \text{Rd}=\text{Render}\left ( \left \{ \mathbf{R}, \mathbf{P}, \mathbf{T} \right \} \right ) \qquad(4) Rd=Render({R,P,T})(4)

3.2. Rotate-and-Render Training Strategy

Rotate-and-Render（R&R）其实是一种构造训练数据的策略