OpenMMLab AI实战营第二期｜人体关键点检测与MMPose学习笔记

OpenMMLab AI实战营第二期｜人体关键点检测与MMPose学习笔记

一、前言

1.1 人体姿态概述

人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，也是计算机理解人类动作、行为必不可少的一步，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。

1.2 讲师介绍

卢策吾 老师
上海交通大学电院计算机系教授、博士生导师；
主要从事具身智能，计算机视觉的研究。开源了一系列如 AlphaPose、HAKE、GraspNet 等多项拥有国际先进水平的开源人工智能框架和数据集，多项成果在智能安防、机器人、无人车等重要领域得到应用。

本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。

二、课程内容

2.1 人体姿态估计的介绍与应用

2.1.1 什么是人体姿态估计

2.1.2 3D姿态估计

2.1.3 人体参数化模型

2.1.4 下游任务

2.1.4.1 行为识别

2.1.4.2 CG、动画

2.1.4.3 动物行为分析

2.2 2D姿态估计

2.2.0 任务描述

2.2.0.1 基于回归(Regression Based)

2.2.0.1.1 DeepPose(2014)

2.2.0.1.1.1 通过级联提升精度

2.2.0.1.2 回归方法的优势与劣势

2.2.0.1.3 Residual Log-likelihood Estimation(RLE)(2021)

2.2.0.1.3.1 背景知识：回归和最大似然估计的联系

2.2.0.1.3.2 背景知识：标准化流Normalizing Flow

2.2.0.1.3.3 RLE的整体设计

2.2.0.1.3.4 重参数化设计

2.2.0.1.3.5 残差似然函数

2.2.0.1.3.6 完整的RLE模型

2.2.0.2 基于热力图(Heatmap Based)

2.2.0.3 从数据标注生成热力图

2.2.0.4 使用热力图训练模型

2.2.0.5 从热力图还原关键点

2.2.1 多人姿态估计：自顶而下方法

2.2.2 Hourglass(2016)

2.2.2.1 级联Hourglass模块

2.2.1.2 不同的级联和监督方式

2.2.1.3 Hourglass模块

2.2.2 HRNet(2020)

2.2.2.1 HRNet的特征融合方式

2.2.2.2 HRNet配合不同任务头

2.2.2 多人姿态估计：自底而上方法

2.2.3 PartAffinity Field & OpenPose(2016)

2.2.3.1 关键点与肢体的预测

2.2.3.2 关键点与关节的预测

2.2.3.3 肢体定义的关键点亲和度

2.2.3.4 基于亲和度匹配关键点

2.2.4 单阶段方法

2.2.4.1 SPM(2019)

2.2.4.2 SPR

2.2.4.3 Hierarchical SPR

2.2.4.3.1 网络设计

2.2.4.3.2 回归策略

2.2.4.3.3 损失函数

2.2.5 基于Transformer的方法

2.2.5.1 PRTR2021

2.2.5.1.1 PRTR两阶段算法

2.2.5.1.2 PRTR单阶段算法

2.2.6.2 TokenPose

小结

2.3 3D姿态估计

2.3.1 任务描述

2.3.2 背景知识：绝对坐标 vs 相对坐标

2.3.3 思路1：直接预测

2.3.3.1 Coarse-to-Fine Volumetric Prediction 2017

2.3.3.2 Simple Baseline 3D 2017

2.3.4 思路2：利用视频信息

2.3.4.1 VideoPose3D 2018

思路3：利用多角度图像

2.3.5.1 VoxelPose 2020

2.4 人体姿态估计的评估方法

2.4.1 Percentage of Correct Parts(PCP)

2.4.2 Percentage of Detected Joints(PDJ)

2.4.3 Percentage of Correct Key-points(PCK)

2.4.4 Object Keypoints Similarity(OKS) based mAP

2.5 DensePose

2.5.1 DensePose(2014)

2.6 人体参数化模型

2.6.1 背景知识：人体表面参数化

2.6.1.1 标注方法

2.6.2 网络结构

2.6.2.1改进设计

2.6.3 身体表面网络(Body Mesh)

2.6.4 混合蒙皮技术(Blend SKinning)

2.6.5 线性混合蒙皮LBS(Linear Blend Skinning)

2.6.6 SMPL人体参数化模型

2.6.6.1 形态参数$\beta$与姿态参数$\theta$

2.6.6.2 SMPL模型的应用

2.6.7 SMPLify算法流程

2.6.7.1关键点投影损失

2.6.7.2 人体姿态约束

2.6.7.3 “胶囊“近似人体

2.6.7.4 人体形态约束

2.6.7.5 损失函数

2.6.8 HMR

2.6.8.1 算法设计

2.6.8.2 回归模型设计

2.6.8.3 2D投影损失

2.6.8.4 引入判别器