人体姿态估计：OpenPose、CPN

1、OpenPose

OpenPose（OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields）首次提出一种自下而上描述关联分数的方法：Part Affinity Fields（PAF），PAF是一组对位置和肢体方向进行编码的2D矢量场，这些自下而上的检测和关联表示能够很好地编码全局上下文，以一小部分计算成本获得高质量的结果。上图给出了OpenPose的整体流程：$(b)$生成编码人体关键点部位的置信度图 $S$；$(c)$生成编码各位置的肢体向量场 $L$；$(d)$贪婪推理，解析 $S$ 和 $L$，输出每一个人的2D关键点。前向网络同时预测一组身体部位位置的2D置信度图 $S$ 和编码一组身体部分之间关联程度(亲和度)的2D矢量场 $L$。 $$S=（S_1，S_2，...，S_J），S_j\in R^{w\ast h}，j\in 1...J$$具有 $J$ 个置信图，每个关键点部位一个。 $$L=（L_1，L_2，...，L_C），L_c\in R^{w\ast h\ast 2}，c\in 1...C$$具有 $C$ 个矢量场，每个肢体1个。
（1）网络结构

上图给出的是最新版OpenPose的网络结构示意图，需要注意的是：原版OpenPose中 $S$ 和 $L$ 的计算学习是交替进行的，也就是每一个stage都需要各自计算一次；后来作者发现，二者可以分开，先计算PAF（每个位置的2D矢量场，进行4次），然后计算PCM（每个位置的置信度图，进行2次）。最开始的输入 $F$ 是通过VGG-19的前10层提取的图像特征映射，${\varphi }^t$ 表示的是进行一个PAF预测的CNN网络，${\rho }^t$ 表示的是进行一个PCM预测的CNN网络。用数学表达式来解释就是$$\{\begin{array}{ll}{\mathbf{L}}^1={\varphi }^1(\mathbf{F})，t=1& \\ {\mathbf{L}}^t={\varphi }^t\left(\mathbf{F},{\mathbf{L}}^{t-1}\right)，\forall 2\le t\le T_P& \\ {\mathbf{S}}^{T_P+1}={\rho }^t\left(\mathbf{F},{\mathbf{L}}^{T_P}\right)，t=T_P+1& \\ {\mathbf{S}}^t={\rho }^t\left(\mathbf{F},{\mathbf{L}}^{T_P},{\mathbf{S}}^{t-1}\right)，\forall T_P+2\le t\le T_P+T_C& \end{array}$$

（1）根据上图的示意，$\rho$ 的范围是 $(T_P,T_C]$，并不包括 $t=T_P$，原文中公式（2）（3）似乎有错，$\rho$ 也写成了$\varphi$。
（2）着重要注意每一层网络的输入，$\rho$ 网络的每一层都需要将 $L^{T_P}$ 作为输入包含进来。

（2）损失函数
网络在每一层给出一个损失函数，具体的定义如下：
$$\begin{array}{rl}{f}_{\mathbf{L}}^{t_i}& =\sum _{c=1}^C\sum _{\mathbf{p}}\mathbf{W}(\mathbf{p})\cdot {\Vert {\mathbf{L}}_c^{t_i}(\mathbf{p})-{\mathbf{L}}_c^{\ast }(\mathbf{p})\Vert }_2^2\\ f_{\mathbf{S}}^{t_k}& =\sum _{j=1}^J\sum _{\mathbf{p}}\mathbf{W}(\mathbf{p})\cdot {\Vert {\mathbf{S}}_j^{t_k}(\mathbf{p})-{\mathbf{S}}_j^{\ast }(\mathbf{p})\Vert }_2^2\end{array}$$其中，$\mathbf{W}(\mathbf{p})$ 是一个二进制位，当p点所在位置没有标注时 $\mathbf{W}(\mathbf{p})=0$，它的目的是避免在训练过程中惩罚真正积极的预测（指的是轻微遮挡的位置？）；${\mathbf{L}}_c^{t_i}(\mathbf{p})、{\mathbf{S}}_j^{t_k}(\mathbf{p})$ 表示网络在p点的预测值，${\mathbf{L}}_c^{\ast }(\mathbf{p})、{\mathbf{S}}_j^{\ast }(\mathbf{p})$ 表示p点的真实值（也就是需要事先定义好的label，它来自于对图像的标注）。$$\begin{array}{l}{\mathbf{S}}_{j,k}^{\ast }(\mathbf{p})=\exp \left(-\frac{{\Vert \mathbf{p}-{\mathbf{x}}_{j,k}\Vert }_2^2}{{\sigma }^2}\right)\\ {\mathbf{S}}_j^{\ast }(\mathbf{p})=\underset{k}{\max }{\mathbf{S}}_{j,k}^{\ast }(\mathbf{p})\end{array}$$这里的 $k$ 表示的是第 $k$ 个人，因为每个人都拥有关键点 $p_j$，该位置附近的置信度类似呈高斯分布；如果是多人的情况，$S_j$ 置信度图上将有多个类似高斯分布，它们之间会有交集，这时作者采取求并集、取最大值的方法来获取最终的 $S_j$。$\sigma$ 控制了真实关节点的控制范围，该参数值越大 ${\mathbf{S}}_{j,k}^{\ast }(\mathbf{p})$ 就越大，预测准确性相对会减小。
$$\begin{array}{l}{\mathbf{L}}_{c,k}^{\ast }(\mathbf{p})=\{\begin{array}{ll}\mathbf{v}& \text{ if }\mathbf{p}\text{ on limb }c,k\\ 0& \text{ otherwise. }\end{array}\\ {\mathbf{L}}_c^{\ast }(\mathbf{p})=\frac{1}{n_c(\mathbf{p})}{\sum }_k{\mathbf{L}}_{c,k}^{\ast }(\mathbf{p})\\ \mathbf{v}=\left({\mathbf{x}}_{j_2,k}-{\mathbf{x}}_{j_1,k}\right)/{\Vert {\mathbf{x}}_{j_2,k}-{\mathbf{x}}_{j_1,k}\Vert }_2\end{array}$$上面的三个公式给出了从标注数据计算PAF-label的方法：如果点 $p$ 在第 $k$ 个人的肢体 $c$ 上，那么它的矢量方向就是 $v$（这是一个由 $j_1$ 指向 $j_2$ 的单位向量）；如果有一点 $p$ 被多个人共享，那么就取均值，这跟上面的 $S_j$ 的多人处理方法稍有区别。还有一个问题就是，如何判断 $p$ 是否位于肢体 $c$ 上呢？下式给出判断公式：$$0\le \mathbf{v}\cdot \left(\mathbf{p}-{\mathbf{x}}_{j_1,k}\right)\le l_{c,k}\text{ and }\left|{\mathbf{v}}_{\perp }\cdot \left(\mathbf{p}-{\mathbf{x}}_{j_1,k}\right)\right|\le {\sigma }_l$$现在我们有了每一点的置信度图 $S$ 和 $2D$ 矢量场图 $L$，现在考虑如何通过这两个数据来获取最终的输出。

$S$：0-17号关键点，所以有18个和图像同尺寸的置信度图，每一个图有多个峰值点，理想情况是一个峰值点对应一个人，到目前为止还做不到，因为单个人的该关键点可能存在多个候选点；
$L$：一共有 $c$ 个肢体，所以就有 $c$ 个PAF图，每一个PAF图给出了每一点的矢量方向，这里就不再是像 $S$ 中那样只有有限个峰值点，这里每个位置又会有一个矢量，只是矢量值有可能为0而已，而且这每一个位置的矢量值都有可能用到。

想一想：如果我们从所有的 $S$ 候选点中去寻找最优的关节点，那么是不是同一个人的同一个关节点的候选位置也会参与到肢体连接的判断中？这将会是一个K分图的最优解问题，作者并没有这样做。注意到 $S$ 中每一个置信度图其实是有顺序关系的，或者说可以人为给它们顺序：$S_1$ 是左膝关节，$S_2$ 是左脚踝，$S_3$ 是右膝关节，$S_4$ 是右脚踝，那么就只让 $S_1$ 和 $S_2$ 去做匹配， $S_3$ 和 $S_4$ 去做匹配， $S_1$ 和 $S_1、S_3、S_4$ 等是不需要做匹配的，这样就把问题转换成一个二分图的最大匹配问题。现在有候选点的集合$$D_J=d_j^m:\text{ for }j\in 1\dots J,m\in 1\dots N_j$$$d_j^m$就代表每一个置信度图上的候选点，对于 $m$ 我们并不知道它归属于哪一个人。假设现在需要找到以关节点 $j_1、j_2$ 作为端点的肢体连接，那就需要找到 $D_{j_1}、D_{j_2}$ 的带权最大匹配。

上图左边给出了一个带权匹配的示意，$E_{13}、E_{41}、E_{65}$ 就是每条边的权值，每条边归属于一个人；右边的公式第一个是计算最大匹配的方法，$z_{j_1{j}_2}^{mn}$ 表示候选点之间是否发生连接关系，例如 $z_{j_1{j}_2}^{13}=1$ 就表示发生连接， $z_{j_1{j}_2}^{34}=0$ 就表示不发生连接；下面两个公式是约束，意思就是：对于 $D_{j_1}、D_{j_2}$ 中的任何一个点，它只会与对面的集合中的一个点发生连接，不会有一对多的情况发生。没有发生连接的候选点就表示被抛弃掉了，意味着它是不准的。这里权值 $E_{mn}$ 的计算方式为$$\begin{array}{rl}E=& {\int }_{u=0}^{u=1}{\mathbf{L}}_c(\mathbf{p}(u))\cdot \frac{{\mathbf{d}}_{j_2}-{\mathbf{d}}_{j_1}}{{\Vert {\mathbf{d}}_{j_2}-{\mathbf{d}}_{j_1}\Vert }_2}du\\ \mathbf{p}(u)& =(1-u){\mathbf{d}}_{j_1}+u{\mathbf{d}}_{j_2}\end{array}$$作者采用线积分的方式来计算权值，$m、n$ 就对应了点 $d_{j_1}、d_{j_1}$，$L_c$ 是前面网络输出的，$\mathbf{p}(u)$ 表示两个端点之间的任意一点，$u$ 的范围是 $[0,1]$。通过匈牙利算法就能够找到该肢体的最优候选端点，要找到所有肢体的最优端点，就用下式$$\underset{Z}{\max }E=\sum _{c=1}^C\underset{{\mathcal{Z}}_c}{\max }{E}_c$$最终我们要的就是这个最大匹配 $Z$，因为每一个关节点最多连接两个其他点，所以找到的最大匹配肢体串起来就形成单个人的姿态估计。

这里忽略了二分图匹配问题的介绍，以及匈牙利算法的具体内容，但是这两部分是最后“贪婪推理”的基础，需要理解。

（3）整体效果
OpenPose在速度、精度上都很优秀，不会因为人数增加而产生速度上的延迟，不依赖于人体的姿势；同时它并不仅仅针对人体关键点的检测，其他物体（例如汽车）也可以用同样的方式来实现关键点检测。

2、CPN

CPN（Cascaded Pyramid Network for Multi-Person Pose Estimation，级联金字塔网络）是2017 COCO Keypoints Challenge的冠军（同年亚军是AlphaPose），由旷视完成。它的主要工作是人体关键点检测，也就是说它是建立在人体边框检测的基础之上的，原文的人体边框检测是由FPN（就是Mask RCNN中用到的那个）完成的。
对于脸部特征来来说我们一般根据表观特征就能检测定位，但是对于膝盖、肘关节等位置，由于衣物的包裹它们是不容易仅仅靠外观表征去定位的。在遮挡、重叠、拥挤等情境下，这些难以被检测的关键点成为“hard-keypoints”，CPN的重点就是解决对于“hard-keypoints”的检测。CPN由两个环节构成：GlobalNet，RefineNet。

（1）GlobalNet
GlobalNet基于ResNet，作者分别在ResNet-50、ResNet-101做了研究，这里以ResNet-50为例来说明。ResNet-50有四级特征输出：conv2_x，conv3_x，conv4_x，conv5_x，GlobalNet就是在这四级特征（简称为C2/C3/C4/C5）上做文章。
浅层特征C2/C3 在定位上有着较高的空间分辨率，但是在识别上语义信息较少；由于卷积（和池化）的存在，深度特征层 C4/C5语义信息较多，但空间分辨率较低。因此GlobalNet引入 U 型结构，同时保留特征层的空间分辨率和语义信息。所谓的 U 型特征指的就是特征融合：GlobalNet将低层特征进行上采样，然后与上一层特征相加，实现不同尺度特征的融合。完了之后，再将融合的特征进行上采样，统一得到原始图像1/4大小的特征，进行该阶段的L2-loss计算。
GlobalNet对于简单点（人眼、耳）的识别是比较有效的，但是对于像left hip这样的位置则比较难识别（看上图右边）。这时就要将GlobalNet的四级特征送入RefineNet，进行再识别。
（2）RefineNet
RefineNet接受了GlobalNet传过来的所有特征，为提升信息传输的效率、保证信息完整性，RefineNet 在不同层之间传输信息，并通过上采样和连接把这些信息整合起来。同时RefineNet还加入了更多的bottleneck，在较小的空间尺度上可实现效率和性能的平衡。
需要注意的是：GlobalNet的L2-loss是将网络输出与所有label的groundtruth做计算，然后全部用于反向传播；但是在RefineNet中，计算loss后会将其从大到小排序，然后选择top-k进行反向传播，这就是为什么在上上图中有 $L2-los{s}^{\ast }$ 的存在。这种方式可以让RefineNet更关注那些难以识别的关键点，而稍微放松对能够在GlobalNet中识别出来的简单点的约束。

这里要关注一下GlobalNet、RefineNet中的几个关键位置：
（1）C2-C5的重要性：作者最后通过对比试验 $Table-5$ 得出，完整使用C2-C5效果是最好的；
（2）bottleneck的重要性：可以看对比试验的 $Table-4$ 的对比；
（3）$L2-los{s}^{\ast }$ 中top-k的k取值：$k=8$ 是最好的，也就是说一般会有8个比较难识别的点，这是 $Table-6$ 的结果。

（3）整体效果
CPN网络在Top-Bottom过程中扮演的是bottom的角色，也就是说它在一定程度上取决于top结果的好坏。CPN针对单人做姿态估计，单人所在区域不必太过精确，只需保证区域包含完整人体即可；在这种前提下，CPN的检测速度完全可以达到实时，且精度也很高（从肉眼上来看与OpenPose不相上下）。

其弊端在于，在多人情况下需要先执行人体检测，密集环境下人体存在重叠，RCNN/FRN等网络虽然可以快速准确地得到人体矩形框，但矩形框内部存在较高频率的人体重叠，会影响CPN的检测效果；Mask RCNN能得到个体的掩码，将个体掩码区域作为CPN的输入可以降低重叠对CPN的影响，但是效果依然不太理想。