关键点检测方法、人体姿态估计

xys430381_1

已于 2022-06-06 21:49:01 修改

阅读量5k

点赞数 1

分类专栏：图像处理文章标签：关键点检测

于 2019-04-01 20:08:56 首次发布

本文链接：https://blog.csdn.net/xys430381_1/article/details/88956134

版权

图像处理专栏收录该内容

57 篇文章 36 订阅

订阅专栏

综述类
人体骨骼关键点检测综述
 2019深度学习人体姿态估计指南
 人体骨骼关键点检测(姿态估计)综述2019
深度学习人体姿态估计：2014-2020全面调研
论文链接：https://arxiv.org/pdf/2012.13392.pdf
项目链接：https://github.com/zczcwh/DL-HPE

人体姿态估计（人体关键点检测）分类与经典方法分析（附GitHub地址）
从经典到最新前沿，一文概览2D人体姿态估计

关键技术
Numerical Coordinate Regression=高斯热图 VS 坐标回归
 tf-openpose人体姿态估计标签生成–heatmap–vectormap

Label为什么要在目标点上附上高斯图？
也是为了让训练变得简单，收敛更快。很多任务中，目标点其实很难准确的被某一个像素位置定义的，也就很难被准确的标注。目标点附近的点其实也很像目标点，我们直接将其标为负样本，可能给网络的训练带来干扰，将其用高斯函数做一个“软标注”，网络也就更好收敛。加上高斯图，也能够给网络的训练增加一个方向性的引导，距离目标点越近，激活值越大，这样网络能有方向的去快速到达目标点。
链接：https://www.zhihu.com/question/293815527/answer/650136212

Simple and Lightweight Human Pose Estimation
PDF: https://arxiv.org/pdf/1911.10346v1.pdf
官方源码：https://github.com/zhang943/lpn-pytorch
pytorch源码：https://github.com/sailyung/human-pose-estimation
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

经典结构：
Stacked Hourglass Networks for Human Pose Estimation
论文阅读理解 - Stacked Hourglass Networks for Human Pose Estimation
【人体姿态】Stacked Hourglass算法详解
 Stacked Hourglass Networks - 堆叠沙漏网络结构详解
 论文阅读：《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016
Hourglass+heatmap解决掌纹回归问题
（该文章对houglass的结构有较好的描述，便于理解）
Stacked Hourglass networks
该文的源代码便于理解，非常整洁（且文末github源代码库中同时有simple baseline的源码）
Paperreading之五 Stacked Hourglass Networks(SHN)和源码阅读（PyTorch版本）

无监督方法
cvpr2018-关键点检测——无监督

一些源代码

1、https://github.com/bearpaw/pytorch-pose
支持的网络包括：- （1） Stacked Hourglass networks
（2）Xiao et al., Simple Baselines for Human Pose Estimation and Tracking, ECCV 2018 (PDF | GitHub)

2、https://github.com/TheSouthFrog/StackedHourglass/blob/master/model.py

3、https://github.com/mk970205/Stacked_Hourglass_pytorch

4、40个姿态估计优秀开源项目汇总

5、手势识别与健身活动识别推理库20bn-realtimenet
对应源码

附录

数据集

人体姿态估计数据集—有超链接

2D数据集
在这里插入图片描述

3D数据集
在这里插入图片描述

通用评估指标

需要评估指标来衡量人体姿势估计模型的性能。

正确部位的百分比 - PCP：如果两个预测的关节位置与真实肢体关节位置之间的距离小于肢体长度的一半（通常表示为PCP@0.5），则认为肢体被检测到（正确的部位）。

它测量肢体的检出率。结果是，由于较短的肢体具有较小的阈值，因此它会对较短的肢体进行惩罚。
PCP越高，模型越好。
正确关键点的百分比 - PCK：如果预测关节与真实关节之间的距离在特定阈值内，则检测到的关节被认为是正确的。阈值可以是：

PCKh@0.5是阈值=头骨链接的50％时
PCK@0.2 ==预测和真实关节之间的距离<0.2 *躯干直径
有时将150 mm作为阈值。
缓解较短的肢体问题，因为较短的肢体具有较小的躯干和头骨连接。
PCK用于2D和3D（PCK3D）。再次，越高越好。
检测到的关节的百分比 - PDJ：如果预测关节和真实关节之间的距离在躯干直径的某一部分内，则检测到的关节被认为是正确的。PDJ@0.2 =预测和真实关节之间的距离<0.2 *躯干直径。

基于对象关键点相似度（OKS）的mAP：

常用于COCO关键点的挑战。在这里插入图片描述