图一:
human 2D是一个卷积网络,它从一张彩色图像中,用2D posedata训练了heatmap和silhouette(热图和轮廓),这是第一个过程:在一张真实的图上训练数据;
然后,用两个网络组件poseprior和shapeprior来估计SMPL模型中的参数θ和β,2D关键点的位置(应该是从热图中可以知道各个关键点的位置)是poseprior的输入,轮廓是shapeprior的输入,分别用不同的损失函数来对这两个过程进行监督,以便调整两个参数的值。
接着,用估计到的参数值生成网格图,进而生成一张全身立体的网格图。这是第二个过程,在身形的例子中进行训练。
最后,我们可以通过渲染器把这个图中的轮廓和关键点投影出来。投影图或许会进行反馈,与真值图进行比较,进而对相关参数进行调整,以或得更准确的生成图。
图二:
这张图出现在估计3D pose and shape那部分
2D关键点和masks作为输入,然后输出投影图。
下面说一下图:
图像中的大概意思为,左上角的一个关于姿势的源利用MoCap数据集对姿势参数进行采样,可能采到了不同的θ参数,然后左下角的另一个关于身形的源利用身体扫描对形状参数β进行采样