(3D-HPE) Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image

最新推荐文章于 2022-11-21 16:32:02 发布

滴水藏海NQZ

最新推荐文章于 2022-11-21 16:32:02 发布

阅读量1.2k

点赞数

分类专栏： Human Pose Estimation

本文链接：https://blog.csdn.net/qq_17721239/article/details/109595188

版权

Human Pose Estimation 专栏收录该内容

38 篇文章 3 订阅

订阅专栏

Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image（ECCV2016）

三维的姿态估计，忽略了人体的shape. 三位骨骼看似合理，但是可能拟合的shape是unnatural的。

之前的工作，有的基于人工，多视角，图片序列。本文的方法是单视角、单图片，完全自动的实现3d-pose-shape的识别。

本文工作分为两部分：

首先进行二维的人体姿态关键点的检测（deepcut当时sota的模型）然后使用SMPL 将关节点的二位投影坐标拟合到2D的位置。

论文构造了一个目标函数来优化：

$E_J\left ( \beta ,\theta ;K,J_{est} \right )+\lambda _\theta E_\theta (\theta )+\lambda _a E_a (\theta )+\lambda _{sp} E_{sp} (\theta;\beta )+\lambda _\beta E_\beta (\beta )$

K 是相机参数； $\lambda _\theta ,\lambda _a,\lambda _{sp},\lambda _\beta$ 是标量权重；

基于关键点的数据项惩罚估计的关节点（ $J_{est}$ ）和对应的SMPL关节点的投影之间的带权重的2D距离。

$E_J\left ( \beta ,\theta ;K,J_{est} \right )=\sum_{joint i}w_i\rho (\Pi _K(R_\theta (J(\beta )_i))-J_{est,i})$

w_i 是CNN估计关节点的权重值。

还有三个pose先验 $E_\theta ,E_a,E_\beta$ 和一个shape先验 $E_{sp}(\theta ;\beta )$

$E_a(\theta )=\sum _iexp(\theta _i)$

$E_\theta (\theta )=-log\sum_j(g_jN(\theta ;\mu _{\theta ,j},\sum_{\theta ,j}))\approx -log(max_j(cg_jN(\theta ;\mu _{\theta ,j},\sum_{\theta ,j})))=min_j(-log(cg_jN(\theta ;\mu _{\theta ,j},\sum_{\theta ,j})))$

$E_{sp}(\theta ;\beta )=\sum_j\sum_{j\in I(i)}exp(\frac{\left \| C_i(\theta ,\beta -C_j(\beta )) \right \|}{\sigma _i^2(\beta )+\sigma _j^2(\beta )})$

$E_\beta (\beta )=\beta ^T\sum_\beta ^{-1}\beta$

Data Term: Joint Projection Error

Depth Ambiguity

pose and shape prior

prevent interpenetration

滴水藏海NQZ

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
(3D-HPE) Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image

Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image（ECCV2016）三维的姿态估计，忽略了人体的shape. 三位骨骼看似合理，但是可能拟合的shape是unnatural的。之前的工作，有的基...
复制链接

扫一扫

专栏目录