姿态估计公开代码以及方法统计

姿态估计公开代码以及方法统计

以下皆为个人观点，勿喷。

1. 姿态估计也叫姿态预测，主要用于检测人体关节。
2. 主要方式为首先使用目标检测方法定位人体目标，其次使用注意力的方式定位人体关节，最后再对人体关节进行连线，也有很多种其他方式。
3. 主要2D目标检测和3D目标检测。3D精度其实较差，因此2D较为常用，下面主要是2D的。
4. 大多以以下17点的方式进行检测。

ID	部位
0	鼻子
1	左眼
2	右眼
3	左耳
4	右耳
5	左肩
6	右肩
7	左肘
8	右肘
9	左腕
10	右腕
11	左胯
12	右胯
13	左膝
14	右膝
15	左踝
16	右踝

yolov8

• 网址: yolov8 ,
• 介绍: 一种无锚框的一阶段目标检测方式

• yolov8在COCO Keypoints val2017的实验结果结果如下所示：

model	size(pixels)	mAPpose 50-95	mAPpose 50	SpeedCPU ONNX (ms)	Speed A100 TensorRT(ms)	params(M)	FLOPs(B)
YOLOv8n-pose	640	50.4	80.1	131.8	1.18	3.3	9.2
YOLOv8s-pose	640	60.0	86.2	233.2	1.42	11.6	30.2
YOLOv8m-pose	640	65.0	88.8	456.3	2.00	26.4	81.0
YOLOv8l-pose	640	67.6	90.0	784.5	2.59	44.4	168.6
YOLOv8x-pose	640	69.2	90.2	1607.1	3.73	69.4	263.2
YOLOv8x-pose-p6	1280	71.6	91.2	4088.7	10.04	99.1	1066.4

Tensorflow Lite

官网地址
介绍：主要用于移动端的姿态估计，总体来说就是将大的模型通过蒸馏量化剪枝等操作变为小的模型然后移植到移动设备上去。有对于姿态预测的示例PoseNet和MoveNet方法。

• 这个网站记录了tensorflow lite中的模型 tensorflow hub
• 其中也分为单目标和多目标姿态估计

AlphaPose

• 主要是多目标姿态估计
• 网址为：AlphaPose

SMPL&SMPL-X

• 这个应该属于3D的姿态估计，也就是全身的。
• 网址为：HybrIK

mmdet

• 介绍这个是open-mmlab开发的一正套视觉相关的框架，最开始主要以目标检测为主，后扩大范围到旋转目标检测，姿态估计等等
• 文档网址为：mmdetection
• 其中的MMPOSE主要为姿态估计的模型
• 里面有对于方法的分类-2D，3D，人脸，手，动物的关键点检测，还对算法与骨干网络进行了统计，实现了主流的算法，也统计了数据集的内容。
• 主要以发论文为主

VideoPose3D

• 一篇论文的代码，用于3D人体姿态估计，也就是将2D的点映射到3D空间内
• 网址为：VideoPose3D

Detectron2

• facebook的
• 网址为：Detectron2
• 里面有DensePose,是对于3D网络的密集检测。其中也包括动物的。

AI Studio

• 百度的，主要使用Paddle Paddle框架
• PP-Human行为识别模块中做的内容还是挺多的，比较适合于工业界
• 里面引用的行为识别数据集UAV-Human挺不错
• 地址为pphuman
• 里面也对部分论文进行了复现，也实现了其他的工业的方法，整体还是可以的

能想到的暂时这么多，如果有时间的话再补充吧。