Whole-Body Human Pose Estimation in the World

论文题目:Whole-Body Human Pose Estimation in the World

项目地址： https://github.com/jin-s13/COCO-WholeBody

摘要（Abstract）

这篇文章对人体全身的二维姿态进行研究，目标是定位出人脸，人手，身体以及人脚对应的稠密关键点。目前来说存在的公开数据集并没有全身的标注信息，以前的工作不得不集成在不同数据集上独立训练的不同模型(人脸特征点模型，人体特征点模型，手部特征点模型等)，并且要面对不同的数据集偏置和较大的模型复杂度。为了填补这个空白，我们引入COCO-WholeBody数据集，这是一个在全身关键点方面标注上对现有COCO数据集的延伸。据我们了解到，这是第一个人工全身标注的关键点benchmark，包含133个稠密关键点，其中68个人脸特征点，42个手部特征点，23个人体特征点(包含脚部点)。设计了一个叫做ZoomNet的单网络模型，考虑到人体的层级结构来解决人体不同部位具有不同变化尺度的问题。设计的网络结构可以在提出的COCO-WholeBody数据集上表现出超出已经存在方法的性能。大量的实验结果表明我们提出的数据集不仅可以被用来从头训练整个人体关键点模型，也可以作为有力的预训练数据服务于其他不同的任务，比如人脸特征点检测，手部特征点检测等。

从上图可以看到以下信息：
a. COCO-WholeBody数据集的一个样例
b. ZoomNet 实验指标高于存在的SOTA方法
c & d. 使用COCO-WholeBody数据集来预训练子任务（比如人脸特征点定位），可以提升子任务的精度

本文主要贡献

1. 提出一个 COCO-WholeBody 数据集，此数据集是对COCO数据集的一个扩展，同时给出全身人体关键点标注信息，包括