【OpenMMLab】AI实战营（二）——MMPose

关于MMPOSE

MMPose 是一款基于 Pytorch 的姿态估计开源工具箱，是 OpenMMLab 项目的成员之一，包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块。

MMPOSE框架

MMPose 由 8 个主要部分组成，apis、structures、datasets、codecs、models、engine、evaluation 和 visualization，这8个主要部分包括了一下几个小的模块：
1、apis 提供用于模型推理的高级 API
2、structures 提供 bbox、keypoint 和 PoseDataSample 等数据结构
3、datasets 支持用于姿态估计的各种数据集
4、transforms 包含各种数据增强变换
5、codecs 提供姿态编解码器：编码器用于将姿态信息（通常为关键点坐标）编码为模型学习目标（如热力图），解码器则用于将模型输出解码为姿态估计结果
6、models 以模块化结构提供了姿态估计模型的各类组件
7、pose_estimators 定义了所有姿态估计模型类
8、data_preprocessors 用于预处理模型的输入数据
9、backbones 包含各种骨干网络
10、necks 包含各种模型颈部组件
11、heads 包含各种模型头部
12、losses 包含各种损失函数
13、engine 包含与姿态估计任务相关的运行时组件
14、hooks 提供运行时的各种钩子
15、evaluation 提供各种评估模型性能的指标
16、visualization 用于可视化关键点骨架和热力图等信息

AI实战营第一讲

本次上课主要采用的是录课的形式（B站OpenMMLab的视频内容），本节课也选自MMLab的B站投稿视频，是2022年2月11日卢策老师针对MMPose的”简单“讲解。
卢老师“深入深处”，结合自己的经验将姿态识别领域的方法和论文进行了梳理和评价，我在此简单的梳理一下结构吧。
本次关于MMPose的内容主要分为几大部分：
首先是概述，即如何带人进入姿态识别这个方向，简单归结一下卢老师的演讲，主要分为一下几个部分：
1、姿态识别或者关键点识别的应用领域
2、姿态识别的应用场景
首先，我们先介绍姿态识别的应用领域：

什么是人体姿态识别呢？就是通过一个又一个的点和线，来象征性的表示一个人的姿态，从而通过这个姿态来判断你现在正在做什么，这就是人体姿态识别。
上图我们也可以看到，现在的姿态识别已经不仅仅局限于人体，目前脸部、手部、也有相当多的应用，而且目前还有3D人体模型、VR模型，有兴趣的朋友可以自己再探索~
其次就是姿态识别的应用场景，目前的姿态识别可以应用到多种的场景中去，例如：
1、基于人体姿态的行为识别（如下图）
2、CG、动画的捕捉（3A游戏大作的动捕演员）
3、人机交互，如用手势控制屏幕等
4、智能社区
等等

姿态识别领域

知道姿态识别能干什么之后，我们就来了解姿态识别，前人是怎么做的。
这里是2D姿态估计的各个方向和方法：

想要清楚了解每个领域的相关方法还是需要花一点时间的，所以我在此只进行一些浅显的介绍，之后会贴出一些论文和视频链接，大家想要深入了解某个方向的话，可以自行查看：

1、自顶向下

原理是先检测人的bounding box，再对每个bounding box检测出人体骨骼关键点。先检测到所有关节，再将这些关节点通过算法（如PAF、NMS，匈牙利算法等）组合成整体（人），通俗一点的理解就是，我先找人，找到人了再标注的肩膀、身体、腿部和眼睛，然后将一个人的关键点连到一起，这样就可以实现我们的目的。
这种方法的优点：
1）很好借鉴目标检测模型
2）基本不会存在关键点重复检查的问题
但是缺点同样明显：
1）只能检测6人以下的图片，否则运算速度会极慢
2）容易漏检或重检
3）针对重检的人，人体骨骼关键点组合可能会出错
参考论文：

https://paperswithcode.com/paper/rmpe-regional-multi-person-pose-estimation

2、自底向上

自底向上（BottomUp）的人体骨骼关键点检测算法主要包含两个部分：关键点检测和关键点聚类连接，关键点检测目的是将图片中所有人的所有关键点全部检测出来。关键点检测完毕之后需要对这些关键点进行聚类处理，将每一个人的不同关键点连接在一块，从而连接产生不同的个体。
优点；
1）很好的解决了漏检和重检的问题。
2）检测速度快，不存在人数上限。
缺点：
1）精度比较低

参考论文：

https://arxiv.org/pdf/1611.08050.pdf
https://paperswithcode.com/paper/openpose-realtime-multi-person-2d-pose

单阶段和Transform方法

这个看的不多，所以就不介绍了~