人体骨骼关键点检测算法-数据集、常见论文归纳

已于 2025-01-06 14:26:30 修改
阅读量3.1w 收藏 30
点赞数 9
分类专栏： # 关键点检测算法 文章标签： 人工智能 深度学习 计算机视觉 算法
于 2024-12-16 11:10:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxlsxl119/article/details/144501454
版权

本文首发于微信公众号：人工智能与图像处理 

人体骨骼关键点检测算法-数据集、常见论文归纳

图片

目录

一、简介

二、人体关键点检测数据集

三、关键点检测任务的目标构建

四、单人2D关键点检测相关算法

五、多人2D关键点检测相关算法

六、3D关键点检测相关算法

一、简介

本文主要介绍人体关键点检测领域，包括单人2D人体骨骼关键点检测算法、多人2D人体骨骼关键点检测算法以及3D人体骨骼关键点检测算法。这些技术在计算机视觉领域中具有广泛应用，包括姿态估计、行为识别、人机交互、虚拟现实、智能家居和无人驾驶等领域。人体骨骼关键点检测由于人体姿态多变、受多种因素影响，例如遮挡、光照等，因此具有极大挑战性。

本文主要介绍内容包括：

  • 单人2D人体骨骼关键点检测算法

  • 多人2D人体骨骼关键点检测算法

  • 3D人体骨骼关键点检测算法

二、人体关键点检测相关数据集

2.1 2D数据集

表格排版不太好调，将就看下吧

数据集类型关节点数样本数/10^3使用情况数据集地址
LSP单人142基本弃用http://sam.johnson.io/research/lsp.html
FLIC单人920基本弃用https://bensapp.github.io/flic-dataset.html
MPII单人、多人1625主流http://human-pose.mpi-inf.mpg.de/
MSCOCO多人17>300主流http://cocodataset.org/#download
AI Challenge多人14约=380竞赛专用https://challenger.ai/competition/keypoint/subject
PoseTrack多人15>20帧多用于姿态追踪https://www.posetrack.net/users/download.php

2.2 3D数据集

表格排版不太好调，将就看下吧

数据集采集场景采集人数样本数/10^4帧采集人数数据集地址
Human3.6M室内11360运动捕捉http://vision.imar.ro/human3.6m/description.php
HumanEva室内4约=8运动捕捉http://humaneva.is.tue.mpg.de/
Total Capture室内5190运动捕捉https://github.com/CMU-Perceptual-Computing-Lab/panoptic-toolbox、http://domedb.perception.cs.cmu.edu/dataset.html
JTA Dataset虚拟场景>2050人工注释http://aimagelab.ing.unimore.it/jta、https://github.com/fabbrimatteo/JTA-Dataset
MPI-INF-3DHP合成场景8>130运动捕捉、图像合成http://gvv.mpi-inf.mpg.de/3dhp-dataset/
SURREAL合成场景145650运动捕捉、图像合成https://www.di.ens.fr/willow/research/surreal/data/
3DPW室外5>5运动捕捉https://hyper.ai/cn/datasets/16463
UP-3D图像采集图像采集约=0.7（10^4幅）人工注释http://files.is.tuebingen.mpg.de/classner/up/
DensePose COCO图像采集图像采集5（10^4幅）人工注释https://github.com/facebookresearch/DensePose、https://www.aiuai.cn/aifarm278.html、http://densepose.org/#dataset

三、关键点检测的Ground Truth的构建

1）Coordinate

在关键点检测中，"Coordinate" 指的是直接将关键点的坐标作为最终神经网络需要回归的目标。这种方法可以直接获得每个关键点坐标的具体位置信息。

2）Heatmap

Heatmap是一种方法，它使用概率图来表示每个关键点类别的位置。对于图像中的每个像素位置，都会被赋予一个概率值，表示该像素点属于对应类别关键点的概率。通常来说，离关键点位置越近的像素点概率越接近1，离关键点位置越远的像素点概率则越接近0。通常可以通过使用相应的函数（如二维高斯函数）进行模拟。如果同一个像素位置到不同关键点的距离不同，即相对于不同关键点该位置的概率也不同，这时可以选择取最大值或平均值作为该位置的概率表示。

对于两种Ground Truth的差别：

坐标网络基本上需要回归出每个关键点相对于图像的偏移量，然而在实际学习中，长距离的偏移量很难准确回归，会产生较大误差。同时，训练过程中提供的监督信息较少，导致整个网络收敛速度较慢。

Heatmap网络直接回归每个关键点类别的概率，这样可以在一定程度上为每个点提供监督信息，使网络更快地收敛。同时，对每个像素位置进行预测可以提高关键点的定位精度。在可视化方面，Heatmap也比Coordinate更优。此外，实践证明，Heatmap确实要比Coordinate更为优越。具体结构如下图所示。

图片

  • 3）Heatmap + Offsets

Heatmap + Offsets是Google在CVPR 2017上提出的概念。与单纯的Heatmap不同的是，Google的Heatmap指的是在距离目标关键点一定范围内的所有点的概率值都为1。除了Heatmap之外，使用Offsets，即偏移量来表示距离目标关键点一定范围内的像素位置与目标关键点之间的关系。

四、单人2D关键点检测算法

  • 1).DeepPose: Human Pose Estimation via Deep Neural Networks (CVPR’14)  mitmul/deeppose: DeepPose implementation in Chainer (github.com)

  • 2).Efficient Object Localization Using Convolutional Networks (CVPR’15)  https://arxiv.org/pdf/1411.4280.pdf

  • 3).Convolutional Pose Machines（2016）(PDF) Convolutional Pose Machines (researchgate.net)

  • 4).Learning Feature Pyramids for Human Pose Estimation（ICCV2017）bearpaw/PyraNet: Code for "Learning Feature Pyramids for Human Pose Estimation" (ICCV 2017) (github.com)

  • 5).Stacked Hourglass Networks for Human Pose Estimation (2017) https://arxiv.org/pdf/1603.06937.pdf

  • 6).Multi-Context Attention for Human Pose Estimation (2018)[1702.07432] Multi-Context Attention for Human Pose Estimation (arxiv.org)

  • 7).A Cascaded Inception of Inception Network with Attention Modulated Feature Fusion for Human Pose Estimation (2018) https://ojs.aaai.org/index.php/AAAI/article/view/12334

  • 8).Deeply Learned Compositional Models for Human Pose Estimation (2018ECCV https://openaccess.thecvf.com/content_ECCV_2018/papers/Wei_Tang_Deeply_Learned_Compositional_ECCV_2018_paper.pdf

  • 9).Human Pose Estimation with Spatial Contextual Information (2019) https://arxiv.org/pdf/1901.01760

  • 10).Cascade Feature Aggregation for Human Pose Estimation (2019) https://arxiv.org/pdf/1902.07837

  • 11).Toward fast and accurate human pose estimation via soft-gated skip connections (2020) https://arxiv.org/pdf/2002.11098

五、多人2D关键点检测算法

多人关键点检测分自上而下和自下而上两种方法：

  • 自上而下（Top-Down）的人体骨骼关键点检测算法主要包含两个部分，目标检测和单人人体骨骼关键点检测，对于目标检测算法，这里不再进行描述，而对于关键点检测算法，首先需要注意的是关键点局部信息的区分性很弱，即背景中很容易会出现同样的局部区域造成混淆，所以需要考虑较大的感受野区域；其次人体不同关键点的检测的难易程度是不一样的，对于腰部、腿部这类关键点的检测要明显难于头部附近关键点的检测，所以不同的关键点可能需要区别对待；最后自上而下的人体关键点定位依赖于检测算法的提出的Proposals，会出现检测不准和重复检测等现象，大部分相关论文都是基于这三个特征去进行相关改进。

  • 自下而上（Bottom-Up）的人体骨骼关键点检测算法主要包含两个部分，关键点检测和关键点聚类，其中关键点检测和单人的关键点检测方法上是差不多的，区别在于这里的关键点检测需要将图片中所有类别的所有关键点全部检测出来，然后对这些关键点进行聚类处理，将不同人的不同关键点连接在一块，从而聚类产生不同的个体。而这方面的论文主要侧重于对关键点聚类方法的探索，即如何去构建不同关键点之间的关系。

5.1 多人2d关键点检测算法（自上而下）

  • 1).RMPE: Regional Multi-Person Pose Estimation（2018） https://arxiv.org/pdf/1612.00137

  • 2).Cascaded Pyramid Network for Multi-Person Pose Estimation（cpn）（2018） https://arxiv.org/pdf/1711.07319

  • 3).Rethinking on Multi-Stage Networks for Human Pose Estimation（2019） https://arxiv.org/pdf/1901.00148

  • 4).Spatial Shortcut Network for Human Pose Estimation（2019 https://arxiv.org/pdf/1904.03141

  • 5).Deep High-Resolution Representation Learning for Human Pose Estimation (2019cvpr)  https://arxiv.org/pdf/1902.09212

5.2 多人2d关键点检测算法（自下而上）

  • 1).OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields（IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE2019）https://arxiv.org/pdf/1812.08008

  • 2).Single-Network Whole-Body Pose Estimation（ICCV2019） https://arxiv.org/pdf/1909.13423

六、3D关键点检测算法

  • 1).Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose（2017） https://arxiv.org/pdf/1611.07828

  • 2).A simple yet effective baseline for 3d human pose estimation（ICCV2017） https://arxiv.org/pdf/1705.03098

  • 3).RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation（CVPR2019） https://arxiv.org/pdf/1902.09868

  • 4).Generating Multiple Hypotheses for 3D Human Pose Estimation with Mixture Density Network（cvpr2019） https://arxiv.org/pdf/1904.05547

  • 5).Learnable Triangulation of Human Pose（ICCV 2019 oral） https://arxiv.org/pdf/1905.05754

  • 6).Weakly-Supervised Discovery of Geometry-Aware Representation for 3D HumanPose Estimation（cvpr2019） https://arxiv.org/pdf/1903.08839

  • 7).3D human pose estimation in video with temporal convolutions and semi-supervised training （cvpr2019） https://arxiv.org/pdf/1811.11742

  • 8).Semantic Graph Convolutional Networks for 3D Human Pose Regression （cvpr2019）https://arxiv.org/pdf/1904.03345

  • 9).Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks（ICCV2019） https://openaccess.thecvf.com/content_ICCV_2019/papers/Cai_Exploiting_Spatial-Temporal_Relationships_for_3D_Pose_Estimation_via_Graph_Convolutional_ICCV_2019_paper.pdf

  • 10).3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training （AAAI2020） https://arxiv.org/pdf/2004.11822

  • 11).Motion Guided 3D Pose Estimation from Videos（2020） https://arxiv.org/pdf/2004.13985

  • 12).XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera(2020) https://arxiv.org/pdf/1907.00837

  • 13).VIBE: Video Inference for Human Body Pose and Shape Estimation （2020cvpr）https://arxiv.org/pdf/1912.05656

人体骨骼关键点检测的算法
聪哥965
10-09 1万+
1.AlphaPose 实时全身多人姿势估计与跟踪系统 https://github.com/MVIG-SJTU/AlphaPose.git git clone -b pytorch https://github.com/MVIG-SJTU/AlphaPose.git python demo.py --indir examples/demo --outdir examples/res --sp python video_demo.py --video D:/cpl.mp4 --outdir example
【数据集】Yolo人体关键点数据集处理
飞跃大海的猪
08-07 3448
介绍了骨骼关键点检测数据集的预处理以及数据集下载链接
YOLOv8-pose关键点检测自制数据集
WYKB_Mr_Q的博客
08-01 3万+
YOLOv8 已经出来一段时间了，它同时拥有目标检测，实例分割，关键点检测，跟踪和分类的功能，并且效果达到了SOTA，使得 YOLOv8 得到了很多科研人员的青睐。这里我们主要使用了 github 公布的。接下来，我们主要记录一下，如何自己制作关键点检测数据集，并跑通YOLOv8项目。YOLOv8项目中的关键点检测，也就是分支，主要是标注了人体的骨骼部分，来精炼表示人体运动，如下图所示。
关键点检测算法
11-19 3666
关键点检测（Keypoint Detection）是一种计算机视觉技术，旨在定位对象或人体上特定点的位置。这些点通常是具有重要意义的解剖学或结构特征，例如人的关节点（肘部、膝盖、肩膀等）、面部特征点（眼睛、鼻子、嘴巴等）或物体的关键点（例如汽车的车轮、门把手等）。
人体关键点检测数据集介绍
baolinq的博客
05-22 1万+
一、COCO数据集 http://cocodataset.org/ 训练集和验证集数据整体概况 最多标注全身的17个关键点，平均一幅图像2个人，最多有13个人 每个人体关键点个数的分布情况，其中11-15这个范围的人体是最多的，有接近70000人，6-10其次，超过40000人，后面依次为16-17,2-5,1. K(BLOHKM) = (20000*13 +9*4...
【人体骨骼点】数据集
JNing
10-19 1807
人体骨骼点数据集
姿态估计：人体骨骼关键点检测的方法论
limingmin2020的博客
08-01 2773
人体骨骼关键点检测，即PoseEstimation，主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息。传统的人体骨骼关键点检测算法基本上都是在几何先验的基础上基于模版匹配的思路来进行，那么核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可以模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。...
人体关键点检测数据集
lyx_323的博客
07-20 1万+
欢迎光临，谢谢指正 数据集 1、MSCOCO 目前COCO keypoint track是人体关键点检测的权威公开比赛之一。 COCO数据集中把人体关键点表示为17个关节，分别是鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。而人体关键点检测的任务就是从输入的图片中检测到人体及对应的关键点位置。 MSCOCO样本数多于30W，多人关键点检测的主要数据集，主流数据集； ...
基于人体关键点的合规检测数据集。
06-01
基于人体关键点的合规检测数据集。 基于人体关键点的合规检测GIF数据集合。165M大小数据体量。
3D人体姿态估计（介绍及论文归纳）
m0_50811752的博客
04-27 1万+
3D人体姿态估计基本概念姿态估计难点人体结构化特性2D 姿态估计任务挑战3D 姿态估计问题挑战应用方法数据集类型可用信息姿态数据集PoseTrackCrowdPoseHuman3.6MDensePoseCOCOMPIIFLICLSPRGB数据集Leeds Sports Pose (LSP) DatasetFLIC DatasetMPII Human Pose DatasetMS COCO Keypoint LeaderboardAI ChallengePoseTrackRGB+D 60/120 数据集当前主
人体骨骼关键点检测Alphapose代码
03-24
基于window系统，pytorch框架，实现的人体骨骼关键点检测的Alphapose源码 ，比openpose的准确度高。亲测有效。
人体骨骼关键点检测综述
06-26
人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。本文主要介绍2D人体骨骼关键点的基本概念和相关算法，其中算法部分着重介绍基于深度学习的人体骨骼关键点检测算法的两个方向，即自上而下（Top-Down）的检测方法和自下而上（Bottom-Up）的检测方法。
医学图像分割数据集：人体骨骼图像分割数据集（多类别分割，约3500张数据和标签）
最新发布
11-20
医学图像分割数据集：人体骨骼图像分割数据集（多类别分割，约3500张数据和标签） 【多类别的分割，1-9 是 L5 和头位（朝向头部），10 是椎管，11-19 是 L5/S1 椎间盘间隙和头位。 具体参考classes文件】 数据集介绍：分为训练集、测试集 训练集：images图片目录+masks模板目录，2800张左右图片和对应的mask图片 测试集：images图片目录+masks模板目录，700张左右图片和对应的mask图片 除此之外，包含一个图像分割的可视化脚本，随机提取一张图片，将其原始图片、GT图像、GT在原图蒙板的图像展示，并保存在当前目录下 医学图像分割网络介绍：https://blog.csdn.net/qq_44886601/category_12102735.html
Kinect——人体骨架检测
07-08
利用微软Kinnect-v2相机读取人体骨架并追踪。需要下载Kinnect SDK和opencv库
KIMI带我读论文-CVPR2024-《Teeth-SEG: An Efficient Instance Segmentation Framework for Orthodontic...》
changesome的博客
07-01 1895
它利用正畸器械对牙齿施加特定方向的力，使牙齿逐渐移动，最终实现牙齿排列整齐，达到最佳的咬合功能，并改善面部区域的外观。具体来说，为了组合这两个模块，我们设计了一种独特的基于排列的上采样器，以确保在建立清晰的分割边界的同时保持高效率，同时使用多头自/交叉门控层来强调特定的语义，同时保持token嵌入之间的差异性。我们研究了2D口内图像的实例分割，这降低了数据收集和注释的要求，并更好地支持了大规模的流行病学筛查和自我检查。请注意，这里的翻译是基于论文内容的概述，具体的文献编号和引用细节需要根据原文进行核实。
人体姿态识别研究综述（详细归纳！）
热门推荐
qq_38522972的博客
10-06 7万+
一，人体姿态识别数据集 1，2D数据集： LSP 地址：http://sam.johnson.io/research/lsp.html 样本数：2K 关节点个数：14 全身，单人 FLIC 地址：https://bensapp.github.io/flic-dataset.html 样本数：2W 关节点个数：9 全身，单人 MPII 地址：http://human-pos...
深度学习人体姿态估计：2014-2020全面调研
我爱计算机视觉
01-25 645
今天分享一篇人体姿态估计综述。来自北卡夏洛特, 戴顿大学, 德州大学达拉斯分校,中佛罗里达大学的研究人员对该领域的研究发展进行了综述。基于输入数据和推理程序的系统分析和比较，作者对基于深...
【AI视野·今日CV 计算机视觉论文速览 第175期】Fri, 10 Jan 2020
TomRen
01-10 1910
AI视野·今日CS.CV 计算机视觉论文速览 第175期 视觉论文速览 ---单目视频递归深度估计 ---自适应.分布学习 图像超分辨 ---极坐标目标检测 ---人脸压缩编码 ---deepfake克星，deepforensic数据集 ---你画我猜，插画生成深度学习综述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值