前言
现在距离研究生开学还有一个月的时间,回顾保研后的这大半年,自己先是在深度学习这个领域打基础,从看吴恩达的机器学习再到花书以及西瓜书。之后确定了Human Pose的研究方向,开始关注这一领域,看了不少论文,也借着毕设自己动手写了一个项目,但感觉自己的知识一直没有形成体系。因此想利用这一个月的时间,将2D与3D的比较经典的论文、方法再总结回顾一下,构建出自己的Human Pose知识树。
回头再看,终于明白了为什么CPM和Hourglass这两个工作有着里程碑一样的地位,这两篇工作几乎把大方向给定好了,后续的大部分工作都是对他们的各种改进。
这篇review借鉴了许多博文,主要有以下:
3D Pose Estimation关键点检测的算法整理
2020 Pose Estimation人体骨骼关键点检测综述笔记
重新思考人体姿态估计
人体姿态估计(Human Pose Estimation)经典方法整理
A 2019 guide to human pose estimation
目录
1 Human Pose Estimation
2 2D Single-Person Pose Estimation
2.1 Dataset
2.2 Ground Truth
2.3 DeepPose: Human Pose Estimation via Deep Neural Networks, CVPR2014
2.4 Efficient Object Localization Using Convolutional Networks, CVPR2015
2.5 Convolutional Pose Machines, CVPR2016
2.6 Stacked Hourglass Networks for Human Pose Estimation, ECCV2016
2.7 Multi-Context Attention for Human Pose Estimation, CVPR2017
2.8 Human Pose Estimation with Spatial Contextual Information, Arxiv2019
2.9 Cascade Feature Aggregation for Human Pose Estimation, Arxiv2019
2.10 HRNet & Higher HRNet, CVPR2019&CVPR2020
2.11 Toward fast and accurate human pose estimation via soft-gated skip connections, Arxiv2020
2.12 2D Single-Person Pose Estimation小结
3 2D Top-Down Multi-Person Pose Estimation
4 2D Bottom-Up Multi-Person Pose Estimation
5 3D Human Pose Estimation from Image
6 3D Human Pose Estimation from Video
1 Human Pose Estimation
人体姿态估计的定义就是在图像或视频中定位人体各个关节点的位置,可以分为2D以及3D两种情况。人体姿态估计是一种基础性的计算机视觉技术,可以应用于动作识别、机器人训练,增强现实等方面。人体可能存在各种姿态、有些关节所占的像素区域很小、关节之间的遮挡、背景复杂等因素都使得人体姿态估计是一个非常有挑战性的任务。
传统的方法是使用图结构框架,这是一种结构化的预测任务。其通过可变形的部件集合来表示人体,各个部件采用模板匹配来检测,然后求出各个部件之间的空间连接关系,以此构成完整的人体姿态。
基于深度学习的方法则是利用神经网络来进行人体姿态估计,神经网络可以自动学习有效的特征,尤其是卷积神经网络大大提升了检测性能,这也取代了以往手工设计的特征。图模型在基于深度学习的方法中依然有强大的生命力,它往往作为一种动力学限制被涵盖到整个过程中,对性能的提升也有着非常大的作用。