(3D-HPE)Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop

Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop (ICCV2019)

github:   https://seas.upenn.edu/˜nkolot/projects/spin
 

---

人体三维姿态和体型估计，目前分为：基于模型（model-based）的和非基于模型的方法。而基于模型的姿态估计又分为基于优化的方法和基于回归的方法；

基于优化的方法以迭代的方式将参数化人体模型（parametric body model）拟合到二维观测中，从而获得精确地图片-模型的对齐；但是这总方法通常比较慢，且对初始化敏感。

基于回归的方法通常使用深度网络直接估计模型的参数，提供合理的但是不是像素级别的精度。通常需要大量的监督。

本文工作将这两方面综合起来。一个从直接从网络得到的合理回顾估计可以初始化迭代优化，是的优化更快更加精确。同时一个像素的精度基于作为网络一个很好的监督。

  SPIN

本文提出的网络的一个特性是他是一个self_improving的过程。在早期的训练阶段，网络的输出结果接近于平均位姿，意味着迭代拟合容易出现误差。当随着迭代拟合模型向网络提供更多的监督，它将学会生成更有意义的形状，也将导致优化更准确的模型拟合。

同时网络可以不需要三维监督，因为三维监督在优化模块就已经实现了。同时模型提供了精确地3D监督，以模型参数的形式而不是 2D的投影。

---

SPIN：

input image通过图片得到 人体参数。这里不是使用的2D投影损失。而是使用回归参数来初始化优化程序（SMPLify）。如果从平均姿态开始优化，速度会很慢。代表迭代拟合模块得到的参数。

产生的新的 投影关节点。得到这些优化好的参数，我们可以在参数和网格层面 监督训练回归网络：

在参数层面：  and/or 在网格层面：。

---

补充细节：

SMPLify可以得到很精确的结果，但是在某些情况下会得到不好的效果。导致训练不稳定，降低性能。。我们使用一个标准来拒绝这些结果的监督。在实验中，基于关节重投影误差的简单阈值设定取得了很好的效果。对于拟合不合格的图像，我们只对关节处重投影损失的回归网络进行监督。另外，为了避免形状参数的不可信值的训练，当SMPLify返回的形状值超出这个范围时，我们只对参数进行管理，简单的L2损失，即将其推至平均值形状。已从2D关键点回归的姿态来初始化SMPLify。同时每一个batch优化SMPLify总共50次迭代。