以下文字仅是一个入门小白的课堂笔记分享,如有不妥之处,恳请各位朋友指出!
人体姿态估计的介绍与应用
人体姿态估计是指从给定的图像中识别人脸、手部、身体等关键点,输入图像I,输出所有关键点的像素坐标(x1,y1),(x2,y2),(xj,yj),其中j为关键点的总数,j取决于具体的关键点模型,人脸有68个关键点,手势是21个关键点,人体是18个关键点。而姿势形态的多变性,关键点的坐标也会有各种不同的组合,这也是人体姿态估计模式识别的难点所在。
3D姿态估计,预测人体关键点在三维空间中的坐标,可以在三维空间中还原人体的姿态,更进一步,我们可以构造人体参数化模型从图像或者视频中恢复出运动的3D人体模型;对于下游任务,姿态估计也有着广泛的应用,可以用于研究行为理解、PoseC3D基于人体姿态识别行为动作、应用于CG动画、进行手势人机交互、动物行为识别分析……
2D姿态估计
2D人体姿态估计指在图像上定位人体关键点(通常是关节)的坐标。而关键点的检测有两种基本思想:基于回归和基于热力图。
(图源OpenMMLabAI2期实战营PPT 下同)
基于回归
对关键点的检测可以建模成一个回归问题