人体骨骼关键点检测(姿态估计)综述2019

目录：

1.前言

2.相关数据集

3.研究方向分类

4.单人关键点检测的发展（2016-2019）

5.Ground Truth的构建

6.自上而下的人体关键点检测算法

一.前言

人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，行为识别，以及无人驾驶等等。2012年，Hinton课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。深度学习开始迎来超级发展时期，人体骨骼关键点检测效果也不断提升。

由于人体具有柔韧性，会出现各种姿态，人体任何部位的变化都会产生新的姿态，同时关键点的可见性受穿着、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的课题。本文主要介绍2D单人人体骨骼关键点的近年来的相关算法，以及最新的多人人体骨骼关键点算法。
二.相关数据集

LSP（Leeds Sports Pose Dataset）：单人人体关键点检测数据集，关键点个数为14，样本数2K，在目前的研究中作为第二数据集使用。

FLIC（Frames Labeled In Cinema）：单人人体关键点检测数据集，关键点个数为9，样本数2W，在目前的研究中作为第二数据集使用。

MPII（MPII Human Pose Dataset）：单人/多人人体关键点检测数据集，关键点个数为16，样本数25K，是单人人体关键点检测的主要数据集。

MSCOCO：多人人体关键点检测数据集，关键点个数为17，样本数多于30W，多人关键点检测的主要数据集，主流数据集；

AI Challenger：多人人体关键点检测数据集，关键点个数为14，样本数约38W，竞赛数据集；

PoseTrack：最新的关于人体骨骼关键点的数据集，多人人体关键点跟踪数据集，包含单帧关键点检测、多帧关键点检测、多人关键点跟踪三个人物，多于500个视频序列，帧数超过20K，关键点个数为15。

三.研究方向分类

2D人体关键点检测论文可分为单人和多人关键点检测，多人关键点检测又分自上而下和自下而上关键点检测方法。单人关键点检测相对多人关键点检测提升空间小，目前主流还是在coco数据集上做多人关键点检测。关于自上而下和自下而上下面做简要介绍：

自上而下（Top-Down）的人体骨骼关键点检测算法主要包含两个部分，目标检测和单人人体骨骼关键点检测，对于目标检测算法，这里不再进行描述，而对于关键点检测算法，首先需要注意的是关键点局部信息的区分性很弱，即背景中很容易会出现同样的局部区域造成混淆，所以需要考虑较大的感受野区域；其次人体不同关键点的检测的难易程度是不一样的，对于腰部、腿部这类关键点的检测要明显难于头部附近关键点的检测，所以不同的关键点可能需要区别对待；最后自上而下的人体关键点定位依赖于检测算法的提出的Proposals，会出现检测不准和重复检测等现象，大部分相关论文都是基于这三个特征去进行相关改进。

自下而上（Bottom-Up）的人体骨骼关键点检测算法主要包含两个部分，关键点检测和关键点聚类，其中关键点检测和单人的关键点检测方法上是差不多的，区别在于这里的关键点检测需要将图片中所有类别的所有关键点全部检测出来，然后对这些关键点进行聚类处理，将不同人的不同关键点连接在一块，从而聚类产生不同的个体。而这方面的论文主要侧重于对关键点聚类方法的探索，即如何去构建不同关键点之间的关系。

四.单人关键点检测的发展（2016-2019）

首先看下单人姿态估计数据集MPII（MPII Human Pose Dataset）官方列出的榜单