Python安装FrankMocap实现3D人体姿态估计

FrankMocap 是港中文联合 Facebook AI 研究院提出的3D 人体姿态和形状估计算法。

 

不仅仅是估计人体的运动姿态，甚至连身体的形状，手部的动作都可以一起计算出来。

 

 

算法很强大，能够从单目视频同时估计出 3D 人体和手部运动，在一块 GeForce RTX 2080 GPU 上能够达到 9.5 FPS。

 

缺点就是，速度有点慢，计算量较大，达到实时性有一定难度。

 

不过随着硬件的快速发展，这都不是问题，「老黄刀法」很给力。

 

FrankMocap 算法就在这几天，刚刚开源，有 Python 和深度学习基础的朋友，不容错过。

 

项目地址：

https://github.com/facebookresearch/frankmocap

 

算法使用 SMPL-X 人体模型。

 

给定一张彩色图片，通过两个网络模块分别预测手部姿态和人体姿态。

 

然后再通过整合模块将手和身体组合在一起，得到最终的3D全身模型，整个流程如下图所示：

 

 

在具体的各个模块的实现，那就涉及具体的数学公式了。