SMPL: A Skinned Multi-Person Linear Model论文解读

SMPL

paper title: SMPL: A Skinned Multi-Person Linear Model
paper link: http://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
oral or demo video：https://www.youtube.com/watch?time_continue=98&v=kuBlUyHeV5U&feature=emb_logo
project: https://smpl.is.tue.mpg.de/
github: https://smpl.is.tue.mpg.de/signup
conf & anthor: ACM ToG 2015; Matthew Loper et. al (MPII & ILM)

相关知识链接:

MPII Human Shape

what is blendshape

what is ‘bake’ in CG?

what is rigging?

whta is shape displacement?

一、主要内容

这篇文章的主要内容是要通过学习得到一个模型可以根据一些输入的参数创建人体动画模型，可以做到

• 可以表示不同身形；
• 随着不同姿势自然变形；
• 能够展现软组织运动；
• 模型渲染快速、部署简单、适配现有渲染引擎；

目标函数：自己生成的model和registered meshes之间每个顶点的差异

训练数据：1786个高分辨率3D扫描模型（为了学习到人在不同的姿势下模型是如何变形的），将自己的模型与3D扫描模型一一align得到训练集；

二、相关工作

• (1) blend skinning: 骨骼子空间变形方法，又称blend skinning。mesh中得每一个顶点会受到其相邻骨骼的加权影响，当这种影响是线性的时候就是LBS. how it works-LBS。这篇文章就是要修正blend skinning的局限性。
• (2) auto-rigging: 给定一个mesh的集合，推算出骨骼、关节和blend权重。
• (3) blend shapes: 姿态空间变形模型(PSD:Pose Space Deformation)。
• (4) learning pose models
• (5) learning pose and shape models

三、模型构建

手工设计的人体mesh：顶点数$N=6890$; 关节点数目$K=23$;
根据标准蒙皮操作，模型可以通过一个平均模板形状来定义，并由以下元素来表示：

• N vertices $\overline{T}\in {\mathbb{R}}^{3N}$
• zero pose $\overrightarrow{{\theta }^{\ast }}$
• blend wights $\mathcal{W}\in {\mathbb{R}}^{N\times K}$
• shape parameter $\vec{\beta }$
• pose parameter $\vec{\theta }$
• blend shape function $B_s(\vec{\beta }):{\mathbb{R}}^{|\vec{\beta }|}\mapsto {\mathbb{R}}^{3N}$
• K joint location predict function $J(\vec{\beta }):{\mathbb{R}}^{|\vec{\beta }|}\mapsto {\mathbb{R}}^{3K}$
• pose-dependent blend shape function $B_p(\vec{\theta }):{\mathbb{R}}^{|\vec{\theta }|}\mapsto {\mathbb{R}}^{3N}$

三个主要变换函数：

• blend shape 函数$B_s(\vec{\beta })$的输入是形状向量，输出是刻画人物(subject)形体的blend shape;
• joint location 回归函数$J(\vec{\beta })$的输入是形状向量，输出是K个关节点的位置;
• pose-dependent blend shape函数$B_p(\vec{\theta })$的输入是姿态向量，用来实现’姿态-依赖’的变形;

上述这些函数生成的corrective blend shapes都加到rest pose上。最后，一个标准的blend skinning函数$W(\cdot )$用来在以joint location回归函数$J(\vec{\beta })$估计的这些关节点为中心旋转顶点，并使用blend weights进行平滑。 最后的结果是一个模型,根据形状和姿态参数向量映射得到一个顶点集合：
$$M(\vec{\beta },\vec{\theta };\Phi ):{\mathbb{R}}^{|\vec{\theta }|\times |\vec{\beta }|}\mapsto {\mathbb{R}}^{3N}$$
其中$\Phi$是学习到的一个参数，下文详述。这里做一个说明，变换符号(如上面的$M$)所带的参数列表中，分号后面的是通过训练学习得到的($\Phi$)，而分号前面的是系统已知的或是由外部输入的($\vec{\beta },\vec{\theta }$)。

1. Blend skinning
人物模型(body)的姿态采用标准的skeletal rig(what is rigging)。这里使用的rig有$K=23$个关节点，第$k$个部位的绕坐标轴的局部旋转为${\vec{w}}_k\in {\mathbb{R}}^3$；那么前面提到的pose parameter的形式就是：
$$\vec{\theta }=[{\vec{w}}_0^T,...,{\vec{w}}_K^T{]}^T$$
参数数目为 $3\times 23+3=72$,其中加的3为根关节的位置。
对每个关节$j$关于各个轴的旋转角度可以使用罗德里格公式转换为旋转矩阵：
$$exp({\vec{w}}_j)=\mathcal{I}+\widehat{{\overline{w}}_j}sin(||{\overline{w}}_j||)+\widehat{{\overline{w}}_j^2}cos(||{\overline{w}}_j||)$$
其中：

• $\overline{w}=\frac{\vec{w}}{||\vec{w}||}$是单位旋转角；
• $\hat{\overline{w}}$是$\overline{w}$的斜对称矩阵；
• $\mathcal{I}$是$3\times 3$的单位矩阵；

那么，标准的LBS(Linear Blend Skinning)函数为：
$$W(\overline{T},J,\vec{\theta },\mathcal{W}):{\mathbb{R}}^{3N\times 3K\times |\vec{\theta }|\times |\mathcal{W}|}\mapsto {\mathbb{R}}^{3N}$$
其中：

• $\overline{T}$为rest pose；
• $J$ 为关节位置；
• $\vec{\theta }$为pose参数；
• $\mathcal{W}$是blend weight；

OK，到这里就可以计算$\overline{T}$中的第$i$个顶点的变换：
$${\overline{t}}_i^{{}^{\prime }}=\sum _{k=1}^K{w}_{k,i}{G}_k^{{}^{\prime }}(\vec{\theta },J){\overline{t}}_i$$
$$G_k^{{}^{\prime }}(\vec{\theta },J)=G_k(\vec{\theta },J)G_k(\overrightarrow{{\theta }^{\ast }},J{)}^{-1}$$