open pose2019 OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields论文翻译与原理理解

highlights：

①证明只有PAFs的优化有助于系统的性能和准确性。（之前的工作认为PAFs和body part location estimation共同作用才能促进系统优化）

②提出第一个组合body 和foot的detector（基于一个内部注释的脚部数据集，已开源）

③本文提出的组合检测器不仅减少了推理时间而且保持了每个部件的准确性

④发布了openpose这一开源系统

Human pose estimation存在的挑战;

first：用于检测的图片中的人的数量是未知的且无规律的

second：人与人之间的相互作用和重叠造成关节之间的关联困难

third：在实时运行时，我画面中的人的数量会变化。这就造成了实时性的困难。

自上而下方法的缺点：

常见的方法是执行 person detector，再对检测到的人进行单人姿态估计。这种自上而下的方法虽然很好理解但是却受检测效果的影响。如果画面内的人体出现遮挡、重合等无法检测的情况，则不会向下执行（缺点1）。此外运行时间与图像中的人数成正比（缺点2）。

自下而上方法的发展历程：

以为自上而下的方法有以上缺点，所以自下而上的方法就变的很有吸引力。

最初的自底向上方法效率不高，因为最终解析需要昂贵的全局推断，每个图像的处理需要几分钟的时间。

（一）Single Person Pose Estimation

传统的关节式人体姿态估计方法是通过对人体各部位的局部观测以及它们之间的空间相关性进行推断。关节姿势的空间模型要么基于树结构的图形模型,这些模型参数化地编码了运动链上相邻部件之间的空间关系，要么基于非树模型它通过附加的边来增强树结构，以捕捉遮挡、对称性和远程关系。（这里不懂(((φ(◎ロ◎;)φ)))）

为了获得可靠的body parts局部观测值，卷积神经网络（CNNs）得到了广泛的应用，并显著提高了body pose estimation 的精度。

（二）Multi-Person Pose Estimation

对于多人姿态估计，大多数方法都采用了自上而下的策略。首先检测到人，然后在每个检测区域独立估计每个人的姿势。虽然这种自上而下的方法简单，但过分依赖于前期的检测结果，而且对于人与人之间的遮挡和依赖无法做出很好的判断。

正是以为自上而下的方法有这些缺点，一些方法开始考虑如何人与人之间的依赖性问题。有研究扩展了图像结构，将一组相互作用的人和深度排序考虑在内，但仍然需要一个人检测器来初始化检测假设。提出了一种自底向上的方法，联合标记零件检测候选零件，并将它们与个人关联，从检测零件的空间偏移量中回归成对得分。该方法不依赖于人的检测，但是在全连通图上求解整数线性规划是一个NP难问题，因此单个图像的平均处理时间约为小时。

在早期的研究[3]中，我们提出了部分相似域（PAF），它是由一组流场组成的表示，它对不同数量的人体各部分之间的非结构化成对关系进行编码。可以在不需要额外的训练步骤的情况下有效地从PAFs中获得成对的数值。这些数值足以让贪婪的解析获得高质量的结果，并具有实时性，以便进行多人估计。

论文行文结构：

3.1和3.2：证明了PAF精化对于最大化精度是至关重要的，而身体部位预测精化则不是那么重要。增加了网络深度，但删除了身体部位的细化阶段。

4.2：提出了一个注释脚部数据集，其中包含已公开发布的15K人脚实例。

5.2和5.3：这种改进的网络使速度和精度分别提高了约200%和7%。

5.3：与Mask R-CNN和Alpha Pose的运行进行比较，显示了该自下而上方法的计算优势。

5.5：明可以训练具有身体和脚关键点的组合模型，在保持其准确性的同时保持仅身体模型的速度。

5.6：通过将其应用于车辆关键点估计任务，证明了该方法的通用性。

论文内容：

算法输入：w*h的color image

算法输出：color image每个人的解剖关键点的二维位置

首先，输入image到VGG-19（使用前10层）提取出关节点特征。前馈网络预测body parts locations 的一组2D置信图S（图2b）和一组2D vector fieldL（PAFs），这个PAFs编码了body parts之间的关联度（图2c）。通过贪婪推理（图2d）解析置信图和PAFs，输出图像中所有人的2d关键点。

以下是论文的网络框架。