论文笔记：OpenPose（Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields）

1、主要成果

提出将人体部位与个体联系起来的非参数化方法—$PAFs$，实现自底向上的实时多人姿态估计，在性能和效率上均实现当时最优的结果。

---

2、算法细节

2.1、算法原理

首先预测一组图像中人体部位位置的 $2D$ 置信图 $S$，以及一组表示部位相似性的 $2D$ 矢量场 $L$，它们表示部位之间的关联程度。集合 $S=\left({\mathbf{S}}_1,{\mathbf{S}}_2,\dots ,{\mathbf{S}}_J\right)$ ，${\mathbf{S}}_j\in {\mathbb{R}}^{w\times h}$， j ∈ { 1 … J } j \in\{1 \ldots J\} j∈{ 1…J}。集合 $\mathbf{L}=\left({\mathbf{L}}_1,{\mathbf{L}}_2,\dots ,{\mathbf{L}}_C\right)$ 有 $C$ 个矢量场，每个肢体一个。其中，${\mathbf{L}}_c\in {\mathbb{R}}^{w\times h\times 2}$， c ∈ { 1 … C } c \in\{1 \ldots C\} c∈{ 1…C}，${\mathbf{L}}_c$ 中的每个图像位置编码一个 $2D$ 向量。最后，通过贪婪推理解析置信度图和亲和场，以输出图像中所有人的 $2D$ 关键点。

---

2.2、实现细节

2.2.1、网络结构

1. 使用 $VGG-19$ 前 $10$ 层提取图像特征 $\mathbf{F}$
2. 将 $\mathbf{F}$ 输入到 $stage-1$ 置信图分支网络和亲和场分支网络，分别输出 ${\mathbf{S}}^1={\rho }^1(\mathbf{F})$ 和 ${\mathbf{L}}^1={\varphi }^1(\mathbf{F})$
3. 重复 $stage-1$，输入为前一阶段的 ${\mathbf{S}}^{\mathbf{t}}$ 和 ${\mathbf{L}}^{\mathbf{t}}$ 以及图像特征 $\mathbf{F}$ 的 $Concatenate$。即，$$\begin{array}{rl}{\mathbf{S}}^t& ={\rho }^t\left(\mathbf{F},{\mathbf{S}}^{t-1},{\mathbf{L}}^{t-1}\right),\forall t\ge 2\\ {\mathbf{L}}^t& ={\varphi }^t\left(\mathbf{F},{\mathbf{S}}^{t-1},{\mathbf{L}}^{t-1}\right),\forall t\ge 2\end{array}$$

---

2.2.2、损失函数

为每一阶段的两个分支网络分别设计损失函数，对损失进行空间加权，来解决一些数据集不能完全标记所有人的问题。
f S t = ∑ j = 1 J ∑ p W ( p ) ⋅ ∥ S j t ( p ) − S j ∗ ( p ) ∥ 2 2