AI实战营第二讲 姿态估计

姿态估计

什么是姿态估计？

姿态估计

从给定的图像中识别人脸、手部、身体等关键点

输入：图像1

输出：所有关键点的像素坐标这里了为关键点的总数，取决于具体的关键点模型

3D姿态估计

预测人体关键点在三维空间中的坐标，可以在三维空间中还原人体的姿态

下游任务

1. 从图像或者视频中恢复出运动的3D人体模型
2. PoseC3D：基于人体姿态识别行为动作
3. CG. 动画
4. 人机交互
5. 动物行为分析

2D姿态估计

2D人体姿态估计：在图像上定位人体关键点（通常为人体主要关节）的坐标，输出预定义的关键点坐标。

基于回归

将关键点检测问题建模成一个回归问题，让模型直接回归关键点的坐标，深度模型直接回归坐标有些困难，精度不是最优。

基于热力图

并不直接回归关键点的坐标，而是预测关键点位于每个位置的概率，即，$H_{1\dots J}=f_{\Theta }(I)$ $H_j\left(x_j,y_j\right)=1$ 表示关键点$j$位于$\left(x_j,y_j\right)$的概率为1，H 称为热力图，尺寸与原图$I$相同或按比例缩小。

基于热力图的特点

＞热力图可以基于原始关键点坐标生成，作为训练网络的监督信息

＞网络预测的热力图也可以通过求极大值等方法得到关键点的坐标

模型预测热力图比直接回归坐标相对容易，模型精度相对更高，因此主流算法更多基于热力图，但预测热力图的计算消耗大于直接回归