OPENMMLAB第一课

内容概要

• 人体姿态估计的介绍和应用

• 2D姿态估计
  a.自顶向下方法
  b.自底向上方法
  c.单阶段方法
  d.基于Transformer的方法

• 3D姿态估计

• 人体姿态估计的评估方法

• DensePose

• 人体参数化模型

什么是人体姿态估计？

从给定的图像中识别人脸、手部、身体等关键点
输入：图像I；输出：所有关键点的像素坐标
通常是一些关节位置，如人脸有68个关键点，人体18个关键点
下游任务有人体姿态估计、动物行为分析。

2D姿态估计

任务描述：在图像上定位人体关键点的坐标。输入图像，输出预定义关键点坐标
基本思路1：基于回归（Regression Based）

问题：深度模型直接回归坐标有些困难，精度不是最优
思路2：基于热力图（Heatmap Based）
优点：热力图可以基于原始关键点坐标生成，作为训练网络的监督信息，可以通过极大值得到关键点坐标
a.自顶向下方法

b.自底向上方法

小结

3D人体估计

任务描述：通过给定的图像预测人体关键点在三维空间中的坐标，可以在三维空间中还原人体的姿态
输入为图像，输出为所有人的所有关键点的空间坐标
思路1：直接预测
思路2：利用视频信息
思路3：利用多视角的图像

评估指标

1.PCP以肢体的检出率作为评价指标
PCP=整个数据集中正确检出的此部位数/整个数据集中此部位总数
2.PDJ以关节点的位置精度作为评价指标
3.PCK以关键点的检测精度作为评价指标
4.OKS based mAP以关键点相似度作为评价指标计算

DensePose

人体表面参数化：将人体表面分为24部分，并将每个部分参数化至同样大小的UV平面
基本结构：Mask-RCNN + DenseReg = DensePose-RCNN
身体表面网格（Body Mesh）： 是由多边形网格组成构建的人体表面模型，通常由具有三维位置坐标的顶点定义
混合蒙皮技术