SPIN Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop

SPIN - SMPL oPtimization IN the loop
paper title: Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop
paper link:https://arxiv.org/pdf/1909.12828.pdf
oral or demo video：https://www.seas.upenn.edu/~nkolot/projects/spin/
project: -
github: https://github.com/nkolot/SPIN
conf & anthor: ICCV 2019, Nikos Kolotouros(UPenn) et al;
arXiv submit v1:2019.09

主要内容

这篇文章主要是将基于迭代优化的方法和基于网络回归的方法进行结合。网络预测的结果作为优化方法的初始值，加快迭代优化的速度和准确性；迭代优化的结果可以作为网络的一个强先验。两种方法相互辅助，使整个方法有一种自我提升的能力，称之为SPIN(SPML oPtimization IN the loop)。

方法流程

1. 方法流程概览
文章的主要流程如下图：

首先图片通过网络后得到人体姿态的描述参数${\Theta }_{reg}$(2D关键点检测网络对应的就是关节点的图像坐标)，然后作为初始参数输入到迭代优化模块(SMPLify)，迭代得到优化后的人体姿态${\Theta }_{opt}$。接下来就是"相互促进"的地方，在计算网络的损失时候，不是直接使用groundtruth，而是使用迭代优化模块的输出来计算，得到$||{\Theta }_{reg}-{\theta }_{opt}||$。这种情况下，迭代优化的效果越好，网络训练的越好；网络训练的越好，迭代初始值越好，优化结果越好，达到self-improving in the loop。
因为使用模型优化的结果作为groundtruth，这样即使训练图片没有3D groundtruth，也可以进行训练。

2. SMPL
关于SMPL的内容可以参见之前的文章SMPL。

3. 回归网络
回归网络主要架构与论文End-to-end Recovery of Human Shape and Pose一致，如下图：

网络输出人体姿态的pose ${\theta }_{reg}$,shape ${\beta }_{reg}$和相机参数<