实时多人2D姿态估计

前言

OpenPose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。可以称是世界上第一个基于深度学习的实时多人二维姿态估计，是人机交互上的一个里程碑，为机器理解人提供了一个高质量的信息维度，其理论基础来自：OpenPose：Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

一：OpenPose它可以在不同的平台上运行

包括Ubuntu、Windows、Mac OSX和嵌入式系统(如Nvidia Tegra TX2)。它还提供了对不同硬件的支持，如CUDA gpu、OpenCL gpu和CPUonly设备。用户可以在图像、视频、网络摄像头和IP摄像头流之间选择输入。它还可以选择是否显示结果或将其保存在磁盘上，启用或禁用每个检测器(身体、脚、脸和手)，启用像素坐标归一化，控制使用多少gpu，跳过帧以更快地处理，等等。

二：OpenPose由三个不同的模块组成：

      (1)身体+脚检测

      (2)手检测

      (3)人脸检测

它可以选择使用原来的身体模型训练COCO和MPII数据集。基于身体检测器的输出，可以从身体的某些部位，特别是耳朵、眼睛、鼻子和脖子，粗略估计面部边界盒建议。类似地，手边界框的建议是与手臂关键点生成的。

三：openpose所带来的贡献（改进方法）：

1：证明PAF细化是最大化acc准确率的关键，而身体部分预测的细化不是最重要的。
2：增加了网络深度，但删除了身体部分的阶段，去除了人体部位置信度图的改进。
3：这种精细的网络提高了速度和准确分别为200%和7%。
4：其次提出了一个公开数据，脚和身体关键点训练保存的模型速度。
5：包含了与Mask的运行时R-CNN和ALpha-Pose，显示计算自下而上方法的优点。

四：OpenPose有两大亮点：

亮点1：PAF-Part Affinity Fields（本paper的核心贡献）：

人体姿态检测，通常是top-down的思路，也就是先做行人检测，然后把每一个人分割出来，最后基于每一个独立个体，找出各自的手手脚脚（人体关键点）。这个办法有两个问题：

１．结果严重依赖第一步行人检测器的结果，如果人都没找到，就无从进行找手手脚脚这一步了。

２．计算时间和人数正相关，人越多越耗费时间。

OpenPose 使用了另一种思路，即bottom-up，先找出图中所有的手手脚脚，再用匹配的方法拼装成一个个人体骨架。这种办法有一个缺陷，就是没办法利用全局上下文的信息。

为了克服这个问题，本文想出了一个办法，就是PAF（Part Affinity Fields)， 部分区域亲和。它负责在图像域编码着四肢位置和方向的2D矢量。同时，使用CMP（Part Detection Confidence Maps）标记每一个关键点的置信度（就是常说的“热图”）。通过两个分支，联合学习关键点位置和他们之间的联系。

同时推断这些自下而上的检测和关联的方式，利用贪婪分析算法（Greedy parsing Algorithm），能够对全局上下文进行足够的编码，获得高质量的结果，而只是消耗了一小部分计算成本。并行情况下基本达到实时，且耗时与图片中的人数无强关联。

PAF:这是一个向量场的集合，其中每一个向量场从属于图像中某一躯体部位，向量场中的每一个向量对应躯体部位区域每一个元素在其中的一个2D向量编码指向下一个关键关节的方向。

亮点2: 高鲁棒性

这是CMU的研究成果。很多人好奇，为啥CMU的模型鲁棒性好，精度高？我觉得这主要归功于数据集规模大，质量好。

海量高质量的数据，使得仅仅基于2D图像就可以实现鲁棒性很好的人体姿态检测。

这充分说明了，数据为王的时代，数据多就是硬道理

参考：OpenPose：实时多人2D姿态估计_一颗小树x的博客-CSDN博客_多人姿态估计