论文学习笔记：Learning to Estimate 3D Human Pose and Shape From a Single Color Image

• 解决的问题：从单个彩色图像估计人体的姿势和形状
  - 一般方法：通过迭代优化
  - 存在的问题：卷积网络缺少训练数据、3D预测时分辨率低
• 本篇论文的工作：提出一个基于卷积网络的高效的直接预测方法来解决上述问题
• 论文方法的核心：在端到端框架中结合SMPL模型解决问题

---

Introduction:

• 目标：
  - 计算机视觉：从图像中估计人体全身的姿势和形状
  - 本文作者：通过提出一种高效且有效的直接预测方法，证明卷积网络确实能在此问题上提供一个好的解决方案，甚至优于迭代优化方法。
• 方法的关键：在端到端框架中结合SMPL模型（Figure1）
  - 优点：参数少；有利于直接网络预测；训练是生成3D网格，并对其表面进行了优化；

---

Figure1：框架的示意图

a)输入一个彩色图像，使用2D姿势数据进行训练，预测出2D热图及轮廓；
b)两个网络使用参数模型的实例进行训练,用PosePrior、ShapePrior分别估计来自关键点的参数θ 及 来自轮廓的形状参数β；
c)将全身3D网格投影到图像，并优化投影与2D注释（keypoints and masks）的一致性，对框架进行端到端的训练。

---

Contributions：

1. 提出了一种用于从单色图像进行三维人体姿态和形状估计的端到端框架；
2. 在端到端的框架中引入SMPL模型——预测SMPL模型的参数、生成3D人体网格、投影3D网格

---

Related work

作者的工作：估计