OpenPose PipeLine细节

Overall Pipeline

流程

输入一个RGB图像上图(a)， 将其喂给后面的一个两分支多阶段（two-branch multi-stage）的CNN网络。

其中两个分支会产生两个不同输出，上面一个是预测关于身体关节位置的置信图，比如右边眼睛，左边眼睛，右边胳膊等。下面一个分支预测一个关联场(Affinity fields),表示两个不同身体部位的关联

而多阶段意味这网络是在前一个网络上面在堆叠一个网络（这个步骤有点像是加深网络深度为了捕获更加精细的结果在后面的阶段中），第一个阶段Stage1，网络产生一个初始的置信图S,和一个身体部位关联场 L，然后下一个阶段就是利用前一个阶段的S ,L 再加上元素图像特征F,产生更精细的预测，再OpenPose的应用中最后Stage 选择为6

上图就显示了多阶段的好处，在图中显示预测人的右手腕的置信图和关联图，但是在开始几个阶段，会有些将左手腕当做右手腕，而随着Stage进一步加深，就越来越精确区分了。
最后，置信度和关联场根据贪婪推断，输出每个人2D关键点

Confidence Maps

介绍一下置信图的数学表达形式

其中J表示身体部位的总数，依赖训练的数据集在OpenPose对COCO数据集J=19，18个身体部位加1个背景

举个S中数据的例子，在S中S1表示鼻子的置信图，那结果有点类似下面这个样子

假设S一个宽高为5的置信图，在概率为0.9就是鼻子的位置区域了。

Part Affinity Field(PAF) Maps

同样，C是关联的总数，也依赖数据集，在COCO中C=19

在L中每个元素就是一个（w,h）的二维向量表示点对方向向量，如第一个图中c图，就是右肩膀和右肘的关联

Neural Network Details

图像先经过一个预训练模型例如VGG19（也可是其他的网络），获取特征F,然后输入后面的网络中

Stage1

Stage t

Loss Functions

为了让网络学习到如何生成S和L,采用两个损失函数在每阶段中的每个分支后，并且加入了一些权重为了避免一些数据集没有很好的标定每个人

下面做一个解释

1.p 表示一个像素，在(w, h)图像上
2.* 表示关联ground truth
3.输出S§是一个由身体部位J在图像位置p的置信得分组成的1维向量
4.输出L§是一由关联c在图像位置的方向向量组成的一个2维向量
5.在OpenPose论文中，J是身体部位总数19， C是关联总数19

Over Loss Function

最后组合上面的两个损失得到一个整体损失函数