CVPR2017 | G-RMI_Google大佬构建的姿态估计baseline

CVPR2017 Google | Towards accurate multi-person pose estimation in the wild
Official Code: pytorch

1.文章概述

正如文章中提到的in the wild，本文的目的是利用top-down类姿态估计算法，尝试解决现实生活中各种实际存在的复杂情况下的人体姿态估计问题。其中最常见的是在人与人彼此靠近时，人体目标框中存在多个人体肢体的场景。文章利用fastrcnn检测图片中可能容纳人体的目标框位置和大小，并估计每个框中可能包含的人体关键点。对于每种关键点类型，使用全卷积ResNet预测一个关键点热度图和两个关键点偏移量（X轴，Y轴）。为了结合这些输出，引入了一种新颖的热图-偏移聚合方法来获得精准的关键点预测。为了避免重复关键点的预测，通过直接基于OKS指标（OKS-NMS）的新型基于关键点的非最大抑制（NMS）机制，而不是较粗糙的基于boundingbox 的IOU NMS。作者还提出了一种新颖的基于关键点的置信度估计器，与使用Faster-RCNN检测框的得分进行结合得到最终姿态置信度，该方法能够对检测的AP有极大改善。本文提出的一种image_crop策略也被后续很多文章使用。

综上所述，本文提出了四种有效提升关键点预测精度的Trick：
1.多输出姿态估计网络
2.热图-偏移解码器
3.keypoint_rescore
4.keypoint_oks_nms
5.image_crop

2.多输出姿态估计网络

如下图所示，本文提出的人体姿态估计网络存在两个输出，其一与传统的网络类似：输出N个Heatmap。第二个输出为：2N个2D偏置向量图。N表示关键点类型个数。其中制作两者的标签时：Heatmap图中关键点坐标半径内的值为1，其余为0；2D偏置向量中离关键点坐标越近的向量模长越小。如下图所示展示了最终网络通过整合Heatmap和偏置向量图得到最终精确的人体关键点位置。网络的backbone为Resnet101。具体的整合方式在下述解码器部分讲解。需要注意的是下图只是一种概念上的说明，事实上2D偏置图是Heatmap图的两倍。（因为包含了x坐标和y坐标）

如下