OpenMMLab-2-人体姿态估计、关键点检测与MMPose

最新推荐文章于 2023-06-12 16:26:03 发布
最新推荐文章于 2023-06-12 16:26:03 发布
阅读量419 收藏 1
点赞数
文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29552897/article/details/131025200
版权
本文详细介绍了人体姿态估计和关键点检测的任务，包括2D姿态估计的回归和热力图方法，多人姿态估计的自顶向下与自底向上策略，以及3D姿态估计。此外，还讨论了评估指标如PCP、PDJ、PCK和OKS-based mAP，并提及其在人机交互、CG动画等领域的应用。
摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、人体姿态估计或关键点检测任务

任务介绍

给定一张图片，任务要求检测图像中人脸、手部、身体等部位的关键点。
输入： 图像 I
输出：所有关键点的像素坐标(x1,y1)…(xJ, yJ)，这里的J为关键点的总数，取决于具体的关键点检测任务和模型。
关键点检测可以预测人体关键点在三维空间中的坐标( x , y , z )，进而在三维空间中还原人的姿态。

下游任务

PoseC3D: 基于人体关键点识别行为动作。这项工作已被开源在 MMAction2 中。
CG、动画: 基于3D人体关键点检测，根据人体姿态，表情姿态的关键点的变化驱动动画人物的动作

除此之外，还有很多有趣的应用：

1 人机交互：通过识别人手部的动作和姿态去控制其他物体；
2 动物行为分析：检测动物关键点，分析动物的行为

二、2D 姿态估计

在图像中定位人体关键点（通常为人体主要关节）的坐标，如臀部、颈部和左右手坐标等。
在这里插入图片描述

基本思路1：基于回归 (Regression Based)

最低0.47元/天 解锁文章
SP Gao
关注
MMlab实验室AI实战营-人体姿态估计与MMPose
qq_38904488的博客
06-02 561
当骨骼发生变化时，特定关节点的位置变化对人体表面不同顶点（Vertex）的位置变化有不同影响，在混合蒙皮技术里，这种影响是由不同的权重实现的。两个阶段的检测共用了一个图像特征网络，设计了Spatial Transform Network(STN)模块，从完整的特征图中裁剪出单人对应的图像特征，用于后续关键点检测。设计思路：准去的姿态估计需要结合不同尺度的信息：局部信息（检测不同的身体组件）、全局信息（建模组件之间的关系，在大尺度变形、遮挡时也可以准确推断出姿态）绝对坐标：各关节点在相机坐标系中的坐标；
ROS下的人体姿态识别tf-pose-estimation（tensorflow版本的openpose）
热门推荐
qq_33970986的博客
12-02 2万+
相关链接： gayhub： tf-pose-estimation https://github.com/ildoonet/tf-pose-estimation tf-pose-estimation for ROS https://github.com/ildoonet/tf-pose-estimation/blob/master/etcs/ros.md paper：https://arxiv.org/pdf/1611.08050.pdf 环境配置：9代i5+1660T；ubuntu18.04；nv.
OpenMMlab 人体姿态估计与MMPose
weixin_30581089的博客
06-03 102
其中Residual Log-Likelihood Estimation(RLE) (2021)的核心思路为对关键点的位置进行更准确的概率建模，从而提高位置预测的精度。它将经典的高斯分布的假设替换成了关键点的概率分布，通过最大似然拟合最优的位置分布。或许此idea也可以嵌套在其他的模型，从简单分布的随机变量映射成复杂分布的随机变量。课程只是大致介绍了在2D和3D的姿态估计，评估指标以及DensePose与人体参数化模型。之前没有相关内容的知识架构，本次学习全当是拓展知识面。
OpenMMLab-AI实战营第二期——2-2.基于RTMPose的耳朵穴位关键点检测（Colab+MMPose）
啷个哩个啷
06-04 1207
环境太新，导致后面安装mmcv的时候找不到现成的wheel，需要从tar.gz编译，编译一直过不去，mmcv一直卡在：Building wheels for collected packages: mmcv。总之把你希望要保留的文件都建立相应的文件夹，然后第一次打开.ipynb的时候，记得选择Colab，此时，这个文件就和Google云端硬盘关联了，在colab中对这个文件进行修改，会保存到Google云端硬盘中。注意，先选好运行时，再进行文件的关联，不然去新的运行时之后，还要再重来一遍。
【OpenMMLab AI实战营第二期】RTMPose关键点检测
JeffDing
06-03 699
OpenI 启智集群内存：50GCUDA：11.8。
【mmpose】从openmmlab官方文档看mmpose架构设计，模块组成，快速上手实现关键点检测效果（动物，人体，手部等）
白水空空
06-07 1764
MMPose 1.0 采用了全新的模块结构设计以精简代码，提升运行效率，降低学习难度。提供了对 MMPose 架构设计的总体介绍。可以通过本教程了解如何构建一个基于 MMPose 1.0 的项目。在MMPose中，我们通常 python 格式的配置文件，用于整个项目的定义、参数管理。所有新增的模块都需要使用注册器（Registry）进行注册，并在对应目录的 __init__.py 中进行 import，以便能够使用配置文件构建其实例。
OpenMMLab第二期：人体关键点检测与MMPose
lehoys的博客
06-07 681
从给定的图像中识别人脸、手部、身体等关键点，即输入图像I，输出为所有关键点的像素坐标，这里J为关键点的总数（取决于具体的关键点模型），例如人脸68关键点，手势21关键点，人体18关键点等等。
MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，是 OpenMMLab 项目的成员之一
05-29
在人体姿态估计方面，MMPose支持多种网络结构，如HRNet、CPM、OpenPose等，这些模型已经在多项基准测试中证明了其优秀性能。此外，MMPose还涵盖了人手和面部的关键点检测，这对于虚拟现实、增强现实以及人机交互应用...
MMPose: OpenMMLab的领先姿态估计工具箱与3D全身姿态实时模型
2. **姿态估计**: 姿态估计是指利用计算机视觉算法来识别和跟踪人体姿态的技术。在姿态估计中，通常需要识别的关键点包括人体的各个关节位置，例如手腕、肘部、膝盖等。姿态估计在众多领域有广泛应用，比如动作识别...
openmmlab训练营-关键点检测理论部分
weixin_42681061的博客
06-05 190
主要任务目标为计算图片中人体的2d关键点坐标；其中热力图到关键点的生成可以采用argmax或者求期望得到，但是取极大值不可导，而求期望可以求导，可以设计为端到端输出的形式；
0532-极智开发-解读cuda编程中-host-可以省略的情况
最新发布
03-27
0532_极智开发_解读cuda编程中__host__可以省略的情况
OpenMMLab-AI实战营第二期-人体关键点检测与MMPose
Yan
06-02 553
这个课程的大致内容是介绍如何从给定的二维影像中恢复出人体的姿态（2D或者3D），大纲如下所示，基本上可以认为流程是：先是恢复2D的关节点姿态，然后是3D的关节点姿态，最后直接演变成三维模型的姿态（更加精细）。我的感觉是一个好的骨架给定后，由于人四肢躯干的长度都是固定的，2D-3D之前显然存在一个几何变换（当然我也是猜的），所以网络学习起来比较容易。2D姿态估计就是利用图片恢复人体关键点姿态，其方法思路可以分为基于回归（直接回归关键点的坐标）和基于热力图（预测关键点的位置分布图）两大类。
OpenMMLab-AI实战营第二期——2-1.人体关键点检测与MMPose
啷个哩个啷
06-02 1827
关键点提取，属于模式识别人体姿态估计的下游任务：行为识别（比如：拥抱。。下游任务：CG和动画，这个是最常见的应用下游任务：人机交互（手势识别，依据收拾做出不同的响应，比如：HoloLens会对五指手势（3D）做出不同的反应）自顶向下方法自底向上方法单阶段方法基于Transformer的方法。
上手OpenMMLab——从0开始使用RTMPose关键点检测（足够本科课设的工作量）
Yuetian_w的博客
06-12 3007
数据集：Labelme标注数据集、整理标注格式至MS COCO目标检测：分别训练和目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测关键点检测：训练RTMPose-S关键点检测模型、训练日志可视化、测试集上评估、分别对“图像、视频、摄像头画面”预测模型终端部署：转ONNX格式，终端推理视频教程合集：https://space.bilibili.com/1900783/channel/collectiondetail?
【OpenMMLab AI实战营 学习笔记 DAY（四）-- 目标检测基础知识及评估方法】
LL_RF的博客
02-07 765
本次课程，仍然是由王若晖老师进行讲解，中间的答疑部分由张子豪（B站 同济子豪兄）进行答疑讲解。[课程链接](https://www.bilibili.com/video/BV1Ay4y1Q7mC/?spm_id_from=333.999.0.0&vd_source=a924258923caf7beb57da59b516dddec)，也可以直接打开哔哩哔哩，搜索OpenMMLab，在其主页可以观看。
人体关键点检测模型研究
微信号：Custom-Software
06-05 2674
摘要：依赖于“大数据”技术与高性能处理器的蓬勃发展，深度学习以其强大的鲁棒性和有效性成为了计算机视觉、自然语言处理等人工智能分支领域中占据主导地位的研究方法。人体关键点检测是计算机视觉中一个极具挑战性的研究。可用于：动作识别，异常行为检测，安防等。本文旨在提出一种基于深度学习的模型，解决人体关键点检测任务中存在的诸多问题，提升检测效果。该任务目前主要存在人体关键点尺度差异性问题。本文引入目标检测领域中流行的特征金字塔网络（Feature pyramidnetwork），通过在多尺度的特征图上提取特征并将高层
MMPose关键点检测实战
秀
06-03 817
给命令设置超时连接时间 mim install “mmdet>=3.0.0rc6” --default-timeout=6000。配置文件faster_r_cnn_triangle.py会有数据集和路径信息。categories里面有框的类别、点的信息、点的连接的信息。RTMPose精度非常高，比YOLOV8还高，但速度慢。超显存了，调小batch_size 或者调小图片的尺寸。-b代表切换到某个分支，保证分支和作者的教程一致。训练自己的数据集，需要改上面的前三行就行。问题：热力图上的点等间距分布。
《动手学机器人学》7.2.3姿态的多种表示，四元数，欧拉角旋转矩阵、轴角ROS2
生活不止眼前的苟且
04-20 1668
ROS2,姿态的多种表示、机器人学、四元数、欧拉角
01 人体关键点检测和MMPose
qq_44785633的博客
06-02 1555
简单的笔记，还未做完，明日继续补充
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值