SMPL 人体模型简要

smpl是指2015 马普的一篇文章“SMPL: a skinned multi-person linear model”中构建的人体参数化三维模型，人体可以理解为是一个基础模型和在该模型基础上进行形变的总和，在形变基础上进行PCA，得到刻画形状的低维参数——形状参数（shape）；同时，使用运动树表示人体的姿势，即运动树每个关节点和父节点的旋转关系，该关系可以表示为三维向量，最终每个关节点的局部旋转向量构成了smpl模型的姿势参数(pose)。考虑到与目前的市面上的渲染器，SMPL模型使用得较多。总结：三维参数化人体模型被广泛使用，它是估计人体三维姿态和形状的有力先验。其主要思想是通过低维参数对三维人体(包括脸、手和身体)的变形进行建模  。SCAPE-》SMPL-〉SMPL-X等。

 

SMPL  源码

['v_template', 'weights', 'posedirs', 'pose', 'trans', 'shapedirs', 'betas', 'J']:

basicModel_m_lbs_10_207_0_v1.0.0.pkl

下图展示了SMPL模型的标准状态、加上形状参数后的Mesh、加上姿态参数后影响的肌肉的松紧状态、以及由姿态参数驱动关节动作后的Mesh。

(a )中的是由平均顶点集以及权重所描述的人体模型。

(b )中平均顶点集在体态的影响下发生了位移，同时体态对关节也产生了影响。

(c )平均顶点集在体态与动作的两重影响下发生的位移，注意此时的图并未有任何的pose。

(d) shape和pose双重影响下的SMPL模型；总共四项，分别为经过体型与姿势影响的顶点集、经过体型影响的关节，以及姿势和权重。

具体代码解析：Linear Blend Skinning

full_pose = torch.cat([global_orient, body_pose], dim=1)

vertices, joints = lbs(betas, full_pose, self.v_template,

                               self.shapedirs, self.posedirs,

                               self.J_regressor, self.parents,

                               self.lbs_weights, pose2rot=pose2rot, dtype=self.dtype)

betas:       体型pca对应的参数1 * 10，

global_orient: 1 * 3 根节点旋转向量

body_pose:   23 * 3 关节点旋转向量

shapedirs:    6890 * 3 * 10  形状位移矩阵PCA (由体型引起的位移形状位移的PCA)

posedirs:     6890 * 207 * 3  23 x 9 =207所有207个姿势混合形状组成的矩阵 (由姿势引起位移的pca)

j_regressor:   6890 * 24  , 是从不同的人在不同的姿势的例子中学习回归矩阵，从mesh中回归出关节点

parents:      24 每一个节点的父节点，显然根节点没有父节点

lbs_weights:  6890 * 24 混合权重矩阵，即关节点对顶点的影响权重 (第几个顶点受哪些关节点的影响且权重分别为多少) 6890个顶点，，每一个顶点受到24个关节点的影响

骨骼蒙皮算法

第一步：体型带来的位移偏差  图b

v_shaped = v_template + blend_shapes(betas, shapedirs)

J = vertices2joints(J_regressor, v_shaped)   获得各个关节的位置

第二步：pose带来的位移偏差（影响很轻微，考虑到速度的时候可以舍弃）图c

pose_feature = batch_rodrigues (full_pose)#旋转向量转旋转矩阵

pose_offsets = torch.matmul(pose_feature, posedirs)

v_posed = pose_offsets + v_shaped

第三步：基于运动树进行关节点变换 图d

J_transformed, A = batch_rigid_transform(rot_mats, J, parents, dtype=dtype)

J_transformed: 应用姿势旋转后关节的位置   24 * 3

A: 所有其他节点相对根节点的刚体变换矩阵  24* 3 * 3

第四步：线性蒙皮算法 图d

T=  lbs_weights * A  ：6890 * 3 * 3 得到每一个顶点3*3

v_homo =T * v_posed  得到最终的6890 * 3 mesh顶点

J_transformed： 最终的关节点

第五步：有位移考虑位移

if apply_trans:

            joints += transl.unsqueeze(dim=1)

            vertices += transl.unsqueeze(dim=1)

目前SMPL模型也得到了长足的发展，但是因为市面的渲染器对应的接口还是SMPL，所以SMPL的使用还是比较普及。

SMPL SMPLH  SMPLX 

STAR此模型是发布SMPL模型的研究人员2020最新的科研成果，是对SMPL模型的有效改进。

参考SMPL论文解读和相关基础知识介绍 - 知乎