人体姿态估计

2019-7-22

1. github上一些实现

1.1 pytorch版本

https://github.com/Daniil-Osokin/lightweight-human-pose-estimation.pytorch

 /deployment_tools/model_optimizer/mo.py --data_type=FP16 --input_model human-pose-estimation.onnx --input data --mean_values data[128.0,128.0,128.0] --scale_values data[256] --output stage_1_output_0_pafs,stage_1_output_1_heatmaps

executableNetwork = plugin.LoadNetwork(netReader.getNetwork(), {});

 

 

 

1.标注工具

https://github.com/ildoonet/tf-pose-estimation

coco keypoints标注,共标注的18个点

序号     coco ori     openpose
1     鼻子    2     左眼     3     右眼  4     左耳 5     右耳   6     左肩    7     右肩     8     左肘  9     右肘     10     左手    11     右手    
12     左髋     13     右髋    14     左膝    15     右膝    16     左脚   17     右脚     18         左耳

2.参考

https://www.aiuai.cn/aifarm292.html

3. 方法

深度学习方法,

1. openpose,OpenPose（https://arxiv.org/pdf/1812.08008.pdf）是当前最流行的几种多人人体姿态估计算法之一。OpenPose 大获成功的一部分原因是它在 GitHub 上开源了其实现代码（https://github.com/CMU-Perceptual-Computing-Lab/openpose），并配有详细的说明文档。

2.《Mask R-CNN》ICCV 2017，FAIR，Kaiming He[13]

2017年何凯明的Mask R-CNN，Mask R-CNN 是用于目标检测分割的框架,即对一张图片,既输出图片中已有的目标,还能为每一个实例生成一个高质量的分割掩码。mask RCNN是在 faster R-CNN 的基础上,在每一个 RoI 都增加一个预测分割的mask,这和分类以及 bounding box 回归是并行的一条分支。它的训练简单,仅仅比 faster RCNN多一点计算开销。它易于泛化到多个任务上,例如人体姿态估计。在不加任何的 trick的情况下,在COCO 数据集上超越其他的方法。因此准确度方面基本上已经是state-of-the-Art。

应用到pose estimation，将分割系统中的目标改为K个one-hot，m*m的二进制mask。准确率比COCO 2016 冠军高0.9个点，速度达到5 FPS。