论文笔记：RMPE: Regional Multi-Person Pose Estimation

0、摘要

当前人体检测已经有很好的性能，但是定位和识别的一些小误差仍不可避免。这些误差可能导致单人姿态估计（$SPPE$）的失败，对于那些完全依赖人体检测结果的方法来说更是如此。作者提出新的区域多人姿态估计（$RMPE$）框架，便于在人体边界框不精确的情况下进行姿态估计。 该框架由三个部分组成：

1. 对称空间变换网络（$SSTN$）
2. 参数姿态非最大抑制（$NMS$）
3. 姿态引导提议生成器（$PGPG$）

该方法能处理非精确边界框及冗余检测。

---

1、介绍

识别多人姿态比识别单人姿态更加具有挑战性。当前大多数研究可以划分为两类，$two-step$ 框架和基于部位的框架。$two-step$ 框架首先检测人体边界框，然后在每个框中分别估计人体姿态。基于部位的框架首先独立检测人体部位，然后对检测到的人体部位进行分配，形成多人姿态。两种框架均有其优缺点：$two-step$ 框架姿态估计的精度高度依赖于检测到的边界框质量。当两个或更多的人彼此靠近时，基于部位的框架组合人体姿态时更加困难。

作者的方法遵循 $two-step$ 框架。作者希望能够在检测框不精确的情况下检测精确的人体姿态。作者使用 $Faster-RCNN$ 和 $SPPE$ 堆叠沙漏来说明以往的方法中存在的问题。图 $1$ 和 图 $2$ 表明两个主要问题：定位误差问题和冗余检测问题。实际上 $SPPE$ 很容易受边界框误差的影响。即使在 $IoU>0.5$ 时认定边界框为正确的，检测到的人体姿态仍然是错误的。由于 $SPPE$ 为每个边界框产生一个姿态估计，冗余的检测会导致冗余的姿态估计。


为了解决以上问题，作者提出区域多人姿态估计（$RMPE$）框架，提升了基于 $SPPE$ 的人体姿态估计算法性能。作者设计了对称空间变换网络，与 $SPPE$ 相连，用于从不精确的边界框提取高质量的单人区域（处理检测定位不精确问题）。通过引入一个新的平行的 $SPPE$ 分支来优化网络。为了处理冗余检测，作者引入了参数姿态非最大抑制。参数姿态非最大抑制使用一种新的姿态距离度量来比较姿态相似性，从而去除冗余姿态。采用数据驱动的方法对姿态距离参数进行优化。 最后，作者提出新的姿态引导提议生成器来增强训练样本。通过学习人体检测器在不同姿态下的输出分布，可以模拟人体边界框的生成，产生大量训练数据样本。（这一步是从姿态反过来推理边界框，从而对原图像进行相应的处理，获取更多样本）

$RMPE$ 框架是通用的，适用于不同的人体检测器和单人姿态估计器。

---

2、相关研究

2.1、单人姿态估计

单人姿态估计传统的方法采用图结构模型，比如树模型，随机森林模型。基于图的模型，比如随机场模型，依赖图模型也已经有很多研究。

基于深度学习的姿态估计代表研究有 $DeepPose$，$DNNbased$ 模型以及各种基于 $CNN$ 的模型。除了简单地估计人体姿态，一些研究考虑同时进行人体解析和姿态估计。对于单人姿态估计，这些方法只在人体被正确地定位时表现良好，然而这个前提并不总能被满足。

---

2.2、多人姿态估计

基于部位的框架

一些研究者使用图模型来解析被严重遮挡的人，这些模型将人体建模为部位的灵活组合。还有研究者使用 $k-poselets$ 来联合检测人并预测人的姿态位置。最终的姿态定位由所有激活的个体的加权平均值来预测。$Pishchulin$ 等人提出 $DeepCut$ 首先检测所有的人体部位，然后用整数线性规划对这些部位进行标注和组合。$Insafutdinov$ 等人提出了一种基于 $ResNet$ 的更强的部位检测器和一种更好的增量优化策略。尽管基于部位的方法表现出良好的性能，但是他们的身体部位检测器可能很脆弱，因为只考虑了小的局部区域。

Two-step 框架

作者使用基于 $SPPE$ 方法的 $CNN$ 来估计姿态。$Insafutdinov$ 等人提出了一种类似的两步管道，它使用 $Faster-RCNN$ 作为人体检测器，一元 $DeeperCut$ 作为姿态估计器。但是该方法在 $MPII$ 数据集上只有 $51.0mAP$，但是本文的方法实现了 $76.7$ 的 $mAP$。随着目标检测和单人姿态估计的发展，两步框架可以实现进一步的性能提升。本文旨在解决人体检测的缺陷，从而最大程度地发挥 $SPPE$ 的性能。

---

3、RMPE

$RMPE$ 管道如图 $3$ 所示。人体检测器获取的人体边界框被输入到 $SymmetricSTN+SPPE$ 模块，自动生成姿态提议。生成的姿态提议由 $parametricPoseNMS$ 进行改进，获取估计的人体姿态。训练时引入 $ParallelSPPE$ 来避免局部极小值，并且进一步发挥 $SSTN$ 的能力。为了增强训练样本，作者设计了 $pose-guidedproposalsgenerator(PGPG)$。接下来介绍框架的三个主要部分。

---

3.1、对称 STN 和平行 SPPE

人体检测器提供的人体提议不能很好地适用于 $SPPE$，因为 $SPPE$ 专门在单个人体图像上进行训练而且对定位误差很敏感。研究表明，人体提议小的平移或者裁剪会极大地影响 $SPPE$ 的性能。当给定人体检测不完美时，引入对称 $STN$+平行 $SPPE$ 来增强 $SPPE$。$SSTN$ 和平行 $SPPE$ 如图 $4$ 所示。

STN 和 SDTN

空间变换网络在自动选择感兴趣区域方面表现出优异的性能。本文中使用 $STN$ 提取高质量主要人体提议。从数学上来讲，$STN$ 执行一个 $2D$ 仿射变换，可以表示为：
$$\left(\begin{array}{c}{x}_i^s\\ y_i^s\end{array}\right)=\left[\begin{array}{lll}{\mathbf{\theta }}_1& {\mathbf{\theta }}_2& {\mathbf{\theta }}_3\end{array}\right]\left(\begin{array}{c}{x}_i^t\\ y_i^t\\ 1\end{array}\right)\text{\hspace{1em}(1)}$$
其中 ${\theta }_1$，${\theta }_2$ 和 ${\theta }_3$ 是 ${\mathbb{R}}^2$ 空间中的向量。 { x i s , y i s } \left\{x_{i}^{s}, y_{i}^{s}\right\} {xis​,yis​} 以及 { x i t , y i t } \left\{x_{i}^{t}, y_{i}^{t}\right\} {xit​,yit​} 是变换前后的坐标。$SPPE$ 后，将结果的姿态映射到原始人体提议图像上。自然的，使用空间反变换网络（$SDTN$）将估计的姿态映射回原始图像坐标。$SDTN$ 计算用于反变换的 $\gamma$，并且基于 $\gamma$ 生成 $grids$：
$$\left(\begin{array}{c}{x}_i^t\\ y_i^t\end{array}\right)=\left[\begin{array}{lll}{\gamma }_1& {\gamma }_2& {\gamma }_3\end{array}\right]\left(\begin{array}{c}{x}_i^s\\ y_i^s\\ 1\end{array}\right)\text{\hspace{1em}(2)}$$
由于 $SDTN$ 是 $STN$ 的逆过程，得到：
$$\left[\begin{array}{ll}{\gamma }_1& {\gamma }_2\end{array}\right]={\left[\begin{array}{ll}{\theta }_1& {\theta }_2\end{array}\right]}^{-1}\text{\hspace{1em}(3)}$$
$${\gamma }_3=-1\times \left[\begin{array}{ll}{\gamma }_1& {\gamma }_2\end{array}\right]{\theta }_3\text{\hspace{1em}(4)}$$
通过 $SDTN$ 进行反向传播，$\frac{\partial J(W,b)}{\partial \theta }$ 可以被推导为：
$$\begin{array}{rl}\frac{\partial J(W,b)}{\partial \left[{\theta }_1{\theta }_2\right]}& =\frac{\partial J(W,b)}{\partial \left[{\gamma }_1{\gamma }_2\right]}\times \frac{\partial \left[{\gamma }_1{\gamma }_2\right]}{\partial \left[{\theta }_1{\theta }_2\right]}\\ +\frac{\partial J(W,b)}{\partial {\gamma }_3}& \times \frac{\partial {\gamma }_3}{\partial \left[{\gamma }_1{\gamma }_2\right]}\times \frac{\partial \left[{\gamma }_1{\gamma }_2\right]}{\partial \left[{\theta }_1{\theta }_2\right]}\end{array}\text{\hspace{1em}(5)}$$
关于 ${\theta }_1$ 和 ${\theta }_2$，以及：
$$\frac{\partial J(W,b)}{\partial {\theta }_3}=\frac{\partial J(W,b)}{\partial {\gamma }_3}\times \frac{\partial {\gamma }_3}{\partial {\theta }_3}\text{\hspace{1em}(6)}$$
关于 ${\theta }_3$。
$\frac{\partial \left[{\gamma }_1{\gamma }_2\right]}{\partial \left[{\mathbf{\theta }}_1{\mathbf{\theta }}_2\right]}$ 和 $\frac{\partial {\gamma }_3}{\partial {\theta }_3}$ 可以分别从方程 $3$ 和 $4$ 推导而来。

提取高质量主要人体区域后，可以利用现成的 $SPPE$ 进行精确的姿态估计。训练过程中，$SSTN$ 与 $SPPE$ 一起进行微调。

---

平行 SPPE

为了进一步帮助 $STN$ 提取高质量人体主要区域，作者在训练阶段增加了一个对称 $SPPE$ 分支。该分支与原始 $SPPE$ 共享同一个 $STN$，但是去除了空间反变换。这个分支的人体姿态标签被指定为中心位置。更具体地说，该 $SPPE$ 分支的输出直接与中心化的 $GroundTruth$ 姿态标签进行了比较。训练时冻结该平行 $SPPE$ 所有的层。该支路的权重是固定的，它的目的是将中心化的姿态误差反向传播到 $STN$ 模块。如果 $STN$ 提取的姿态不是中心化的，平行分支将反向传播大误差。通过这种方式可以帮助 $STN$ 聚焦正确的区域，并且提取高质量的人体主要区域。测试阶段，平行 $SPPE$ 被舍弃。

---

讨论

平行 $SPPE$ 可以视为训练阶段的正则化。它有助于避免局部极小值，在该值处 $STN$ 没有将姿态变换到提取的人体区域的中心。到达局部极小值的可能性增加，由于 $SDTN$ 的补偿作用，网络将产生更少的误差。这些误差对训练 $STN$ 是必要的。通过 $SPPE$，训练 $STN$ 将人移动到提取区域的中心，以便于 $SPPE$ 进行精确的姿态估计。

在 $SPPE$ 的输出（$SDTN$ 之前）使用中心化的姿态回归损失来替换平行 $SPPE$ 似乎是很直观的。然而这种方法会降低系统性能。（这里不是很理解。。。） 尽管 $STN$ 可以部分地变换输入，但是完美地取代标签中的位置是不可能的。$SPPE$ 的输入和标签在坐标空间上的差异将大大削弱它学习姿态估计的能力。这将导致主 $SPPE$ 性能的下降。因此，为了确保 $STN$ 和 $SPPE$ 能够完美地发挥性能，框架中的平行 $SPPE$ 不可或缺。平行 $SPPE$ 对非中心姿态产生很大误差，以推动 $STN$ 产生中心化的姿态，而不影响主分支 $SPPE$ 的性能。

---

3.2、参数化姿态非最大抑制

人体检测器不可避免地产生冗余检测，这相应地会导致冗余的姿态估计。姿态非最大抑制用于消除冗余。之前的方法要么不够有效，要么不够精确。作者提出参数化姿态 $NMS$ 方法。姿态 $P_i$，有 $m$ 个关节点，表示为 $\left\{⟨k_i^1,c_i^1⟩,\dots ,⟨k_i^m,c_i^m⟩\right\}$ $k_i^j$ 和 $c_i^j$ 分别为第 $j$ 个关节的位置和置信度分数。

---

NMS 方案

首先最大置信度的姿态作为参考，一些靠近它的姿态可以根据剔除准则来去除。在剩余的姿态集合中重复该过程直到冗余的姿态被剔除。

---

剔除准则

为了去除冗余姿态，定义姿态相似度 $d\left(P_i,P_j|\Lambda \right)$ 以及阈值 $\eta$ 作为剔除准则。其中 $\Lambda$ 是函数 $d(\cdot )$ 的参数集合。剔除准则如下所示：
$$f\left(P_i,P_j|\Lambda ,\eta \right)=1\left[d\left(P_i,P_j|\Lambda ,\lambda \right)\le \eta \right]\text{\hspace{1em}(7)}$$
如果 $d(\cdot )$ 比 $\eta$ 小，$f(\cdot )$ 的输出应该为 $1$，表明姿态 $P_i$ 是参考姿态 $P_j$ 的冗余，应该被剔除。

---

姿态距离

假设姿态 $P_i$ 对应的框是 $B_i$，距离函数 $d_{\text{pose}}\left(P_i,P_j\right)$，定义软匹配函数为：
$$K_{Sim}\left(P_i,P_j|{\sigma }_1\right)=\{\begin{array}{ll}{\sum }_n\tanh \frac{c_i^n}{{\sigma }_1}\cdot \tanh \frac{c_j^n}{{\sigma }_1},& \text{if}{k}_j^n\text{ is within }\mathcal{B}(k_i^n)\\ 0& \text{otherwise}\end{array}\text{\hspace{1em}(8)}$$
其中，$\mathcal{B}(k_i^n)$ 是一个中心在 $k_i^n$ 的框，$\mathcal{B}(k_i^n)$ 的每个维度是原始框 ${\mathcal{B}}_i$ 的 $1/10$。$tanh$ 滤除低置信度的姿态。当两个姿态对应关节点都有很高的置信度，输出接近于 $1$。该距离大体计算姿态之间关节的匹配数。

部位之间的空间距离考虑如下：
$$H_{Sim}\left(P_i,P_j|{\sigma }_2\right)=\sum _n\exp \left[-\frac{{\left(k_i^n-k_j^n\right)}^2}{{\sigma }_2}\right]\text{\hspace{1em}(9)}$$
联合方程 $8$ 和 $9$，最终距离函数表示如下：
$$d\left(P_i,P_j|\Lambda \right)=K_{\mathrm{sim}}\left(P_i,P_j|{\sigma }_1\right)+\lambda H_{Sim}\left(P_i,P_j|{\sigma }_2\right)\text{\hspace{1em}(10)}$$
其中，$\lambda$ 为两个距离的权重平衡， Λ = { σ 1 , σ 2 , λ } \Lambda=\{\sigma_1,\sigma_2,\lambda\} Λ={σ1​,σ2​,λ}。注意，姿态非最大抑制手动设置姿态距离参数和阈值。这里的参数可以通过数据驱动的方式来确定。

---

优化

给定检测到的冗余姿态，剔除准则的四个参数 $f\left(P_i,P_j|\Lambda ,\eta \right)$ 被优化从而在验证集上实现最大 $mAP$。由于在四维空间中穷举搜索是很困难的，所以作者以迭代的方式，每次固定两个参数，优化两个参数。一旦收敛，参数就被固定并用于测试。

---

3.3、姿态引导的提议生成器

数据增强

对于两级姿态估计，适当的数据增强是必要的，使 $SSTN+SPPE$ 模块适应人体检测器生成的不完美的人体提议。否则，测试阶段模型或许不能很好的发挥作用。一个直观的方法是，训练阶段直接使用人体检测器生成的边界框。然而，人体检测器对每个人只能产生一个边界框。通过使用提议生成器，这个数量可以被极大地增加。由于每个人体已经有 $GT$ 姿态和一个目标检测边界框，可以生成有着相同分布的训练提议的大样本，作为人体检测器的输出。使用这种技术可以进一步提升系统性能。

---

洞察

作者发现，检测框和 $GT$ 框之间的相对偏移的分布因姿态的不同而不同。更具体地说，存在一个分布 $P(\delta B|P)$，其中 $\delta B$ 是人体检测器生成的边界框和 $GT$ 框坐标之间的偏移量，$P$ 是人体的 $GT$ 姿态。如果对该分布建模，能够生成许多与人体检测器生成的人体提议相似的训练样本。

---

实现

由于人体姿态的变化，直接学习 $P(\delta B|P)$ 分布是很困难的。因此作者尝试学习分布 $P(\delta B|$atom$(P))$，其中 $\mathrm{atom}(P)$ 定义为 $P$ 的原子姿态。为了从人体姿态注释中推导原子姿态，首先将所有姿态对齐，使他们的躯干有相同的长度。然后，使用 $k-means$ 算法对已对齐的姿态聚类，计算得到的聚类中心形成原子姿态。每个人体实例共享相同的原子姿态 $a$，计算 $GT$ 框和检测到的边界框之间的偏移。然后用 $GT$ 框在相应的方向上的边长来归一化偏移量。经过这些处理，偏移量形成频率分布，作者将数据拟合成高斯混合分布。对于不同的原子姿态，有不同的高斯混合模型。部分分布及其对应的聚类的人体姿态如图 $5$ 所示。

---

提议生成

在 $SSTN+SPPE$ 的训练阶段，对于训练样本中每个注释的姿态，首先查找相应的原子姿态 $a$。然后根据 $P(\delta B|a)$ 分布通过密集采样产生额外的偏移，从而产生增强的训练提议。

---

4、实验

该方法在两个具有严重遮挡的多人数据集（$MPII$ 和 $MSCOCO2016KeypointsChallenge$）上进行了定性和定量的评估。

---

4.1、评估数据集

MPII 多人数据集

该数据集有 $3844$ 个训练组和 $1758$ 个测试组，均包括遮挡和重叠的人。而且它包含超过 $28000$ 个单人姿态估计训练样本。作者使用所有单人姿态估计训练集以及 $90\%$ 的多人姿态训练集，剩下的 $10\%$ 用于验证。

---

MSCOCO Keypoints Challenge 训练集

此数据集要求在具有挑战性的，不受控制的条件下对人体关键点进行定位。它包含 $105698$ 个训练人体实例和大约 $80000$ 个测试人体实例。训练集包含超过一百万个标注关键点。测试集粗略等分为四部分：$test-challenge$、$test-dev$、$test-standard$、$test-reserve$。

---

4.2、测试实现细节

作者使用基于 $VGG$ 的 $SSD-512$ 作为人体检测器。为了保证提取整个人体区域，检测到的人体提议在高度和宽度方向分别扩展 $30\%$。使用堆叠沙漏模型作为单人姿态估计器。对于 $STN$ 网络，采用 $ResNet-18$ 作为定位网络。考虑到内存效率，使用更小的 $4$ 个堆叠沙漏网络作为平行 $SPPE$。

---

为了验证框架的通用性，作者也使用不同的人体检测器和姿态估计器。使用基于 $Faster-RCNN$ 的 $ResNet152$ 作为人体检测器，使用 $PyraNet$ 作为姿态估计器。这种情况下，对人体检测采用多尺度测试，而 $PyraNet$ 的输入大小为 $320\times 256$。

---

4.3、结果

MPII 数据集上的结果

整个测试集上的定量结果如表 $1$ 所示。图 $6$ 为一些检测结果

---

MSCOCO Keypoints 数据集上的结果

表 $2$ 为在 $test-dev$ 上的测试结果

---

4.4、切除实验

作者评估了提出的三个模块的效果：$SSTN$、$PGPG$、$PPNMS$。

SSTN 和平行 SPPE

第一个实验中，去除 $SSTN$ 和平行 $SPPE$。第二个实验中，仅去除平行 $SPPE$，保留 $SSTN$ 结构。结果如表 $3(a)$ 所示。观察到，当去除平行 $SPPE$，性能下降，这表明有着单人图像标签的 $SPPE$ 能够驱动 $STN$ 提取单人区域来最小化总损失。

---

姿态引导的提议生成器

表 $3(b)$ 表明姿态引导的提议生成器在系统中扮演着重要角色 。实验中首先去除训练阶段的数据增强。$mAP$ 下降到 $73.0\%$。然后将数据增强技术与单基线进行比较。基线是通过抖动由人体检测器产生的边界框的位置和长宽比来形成的，以产生大量附加提议。选择与 $GT$ 框的 $IoU$ 大于 $0.5$ 的提议。从表 $3(b)$ 的结果可以看出，数据增强技术优于基线方法。根据分布生成训练提议，可以被看作一种数据重采样，可以帮助模型更好地拟合人体提议。

---

参数姿态非最大抑制

由于它是一个独立的模块，因此可以直接将其从最终模型中去除。实验结果如表 $3(c)$ 所示。如果将该模块移除，$mAP$ 将显著下降，这是因为冗余姿态数量的增加最终会降低精度。之前的姿态非最大抑制也能在一定程度上去除冗余检测，但是由于缺少参数学习，这些方法不如参数姿态非最大抑制有效，而且本文的方法效率更高。

---

框架的上限

使用 $GT$ 框作为人体提议，如表 $3(e)$ 所示，实现了 $84.2\%$ 的 $mAP$。这验证了本文的框架已经接近于 $two-step$ 框架的上限。

---

4.5、错误示例

图 $7$ 展示了一些检测失败的例子。可以看出：

1. $SPPE$ 不能处理极少出现的姿态（即第一张图像中“人旗”）。
2. 当两个人严重重叠，系统难以分辨并且难以将他们分离开（即第二张图左边的两个人）。
3. 当人体检测器漏检，姿态也会漏检（即第三幅图中躺下的人）。
4. 当物体与人体很相似时，人体检测器和 $SPPE$ 均难以分辨，可能产生错误的人体姿态（即第四幅图的背景物体）。

---

5、总结

作者提出新的 $RMPE$ 框架，主要有三个创新点：

1. $SSTN$ 及平行 $SPPE$：处理人体定位误差
2. 参数化姿态非最大抑制：减少冗余姿态检测
3. 姿态引导的提议生成器（$PGPG$）：通过学习给定姿态的边界框提议的条件分布，极大地增强训练数据

未来关注将框架与人体检测器进行端到端训练的研究。