Learning to Estimate 3D Human Pose and Shape from a Single Color Image

CVPR2018

任务：从单张图估计人的3D形状(3d shape)。

方法：

 先估计出heatmap和Silhouette， 再分别估计出代表shape和pose的参数和。输入到SMPL模型中， 得到3D shape。

需要注意, 估计和的这一步是可以离线训练的， 也就是认为选择和, 得到3D shape, 将其投影到各个方向， 得到heatmap和silhouette， 这样输入和输出都有了。

后面的Render是opendr库执行的， 将3D shape投影到2d，在heatmap和silhouette上做监督， 因此即使没有3D标签， 该模型也能进行end-to-end训练。

 

补充1：

SMPL是一种概率人体形状模型， 它的特点是用很少的参数能表示human pose and shape。 这样的小空间表示给CNN学习带来好处(否则直接学习shape的6890个点3d坐标很困难)。 具体的， 它把整个mesh分为shape和pose两个方面来表示， 其中shape用表示， 包含10个参数， pose用表示， 包含72个参数(23*3+1*3, 23代表23个关节点， 每个关节点3个旋转角度， 1代表全局旋转)。

补充2：

评价标准： human shape的评价一般在UP-3D和SURREAL数据集上进行， 前者是在MPII, LSP等2D数据集上采集， 然后利用SMPLify生成shape标签。SURREAL数据集的图片是合成的， 但是标签信息十分准确。这二者的评价指标都是the mean per-vertex error。
此外也经常在h36m上比较关节点的重建误差，佐证shape重建的精度。