论文笔记-Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop(ICCV 2019)

学习重建三维人体姿势和形状通过在循环模型拟合
ICCV 2019

Abstract

基于参数化模型（SMPL或者其他）的人体姿态估计目前有两种方法（两种方法的结果如下图1）：

• 基于优化的方法以迭代的方式把参数的人体模型拟合到2D观察中，使得模型能与图片上的人精准对齐；但是这总方法通常比较慢，且对初始化敏感。（参考SMPLify）
• 基于回归的方法使用深度神经网络端到端估计模型参数，虽然估计的姿势准确，但是不能精准对齐图片上的人。
  
  本文工作并没有判断两者谁更好，而是将这两方面综合起来。首先从神经网络中直接回归得到初始化参数，这使得下一步优化将更快更加精确。再进行迭代优化，同时用优化的结果进行监督。达到自我改进。
  

技术方案

SMPL model

人模型的表面M由β和θ算出，通过M和线性回归函数W能算出三维关节点X

Regression network

回归网络的设计参考了Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018 hmr

在上面网络进行的修改是参考了 Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019
文章提出了一种适合深度学习的三维旋转表示方法。

Optimization routine

优化参考了SMPLify，$E_J$(β, θ; K, J${}_{est}$) + λθEθ(θ) + λaEa(θ) + λβEβ(β) ,去掉了SMPLify中的 interpenetration error项，因为他拟合的很慢，同时在效果上提升并不大。

使用openpose代替了SMPLify中的deepcut

SPIN

损失项设计如下，参考笔记

评估

看论文

代码实现

代码实现参考

代办

理解代码，阅读多视角利用SMPL模型相关的论文