「Computer Vision」Note on Part Affinity Fields

QQ Group: 428014259
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/83389211

作者：Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh
单位：The Robotics Institute Carnegi Mellon University

0 摘要

提出部位亲和场（Part Affinity Fields），其是一种非参数表征，用于联系身体部位。

1 介绍

叙述top-down方法的基本流程以及局限。指出bottom-up方法的某些好处以及局限。分析了两种基本bottom-up方法，并且本文在bottom-up方法上提出部位相似场，即二维向量场集合，在图像域对limbs的位置和方向进行编码。

2 方法

作者方法的整体pipeline如图1所示。首先，一个前向网络同时预测身体部位位置的二维置信度图集合((b)图)，和部位关系的二维向量场集合(©图)。部位亲和场如图2所示。图1(d)为根据部位亲和场好部位置信度图进行贪婪推理，最后输出解析结果，如图1(e)。

图 1：整体pipeline 图 2：多人姿态估计好部位亲和场

2.1 同时检测和关联

如图3所示，为同时进行检测和关联的网络结构，很明显就是类似于CPM[2]。网络结构可以分裂为两条分支，其一为上分支，用于预测置信度图，其二为下分支，用于预测亲和场。两条分支均为迭代预测结构，即分为多个阶段，后续的阶段逐步优化（refine）前级的预测结果。另外，每个阶段均有中继监督，即深度监督机制。

RGB图像首先经过一个由VGG-19前10层预训练权重组成的卷积网络，提取特征图$\mathbf{F}$，即图3中的$F$。$F$送入两条分支。在第一阶段，如图3所示，上分支预测检测置信度图${\mathbf{S}}^1={\rho }^1(\mathbf{F})$，下分支预测部位亲和场${\mathbf{L}}^1={\varphi }^1(\mathbf{F})$。在后续阶段，如图3所示，上分支的 F