OpenMMLab AI实战训练营day2-人体关键点检测与MMpose

已于 2023-06-01 20:17:34 修改
阅读量349 收藏 2
点赞数 1
文章标签： 人工智能 机器学习 算法
于 2023-06-01 20:15:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lgwwslgw/article/details/130993820
版权

OpenMMLab AI实战训练营day2-人体关键点检测与MMpose

姿态估计的定义

姿态估计：从给定的图像中识别人脸，手部，身体等关键点
输入：图像 I
输出：所有关键点的像素坐标( x 1 x_1 x1​, y 1 y_1 y1​)( x 2 x_2 x2​, y 2 y_2 y2​)( x J x_J xJ​, y J y_J yJ​)，这里J为关键点的总数，取决于具体的关键点模型
如下图所示：
在这里插入图片描述

一.2D姿态估计

在图像上定位人体关键点的坐标

基于回归的自顶向下方法

将关键点检测问题建模成一个回归问题，让模型直接回归关键点的坐标即：在这里插入图片描述
存在的问题：深度模型直接回归坐标有些困难，精度不是最优

基于热力图的自顶向下方法

并不直接回归关键点的坐标，而是预测关键点位于每个位置的概率，即:在这里插入图片描述
H j ( x j , y j ) H_j(x_j,y_j) Hj​(xj​,yj​)=1表示关键点j位于( x j x_j xj​, y j y_j yj​)的概率为1，H称为热力图，尺寸与原图I相同或按比例缩小

—热力图可以基于原始关键点坐标生成，作为训练网络的监督信息
—网络预测的热力图也可以通过求极大值等方法得到关键点的坐标

优势与问题：模型预测热力图比直接回归坐标相对容易，模型精度相对更高，因此主流算法更多基于热力图，但预测热力图的计算消耗大于直接回归

自底向上方法

基本思路：基于图像同时预测关节位置和四肢走向，利用肢体走向辅助关键点的聚类：即，如果某两个关键点由某段肢体相连，则这两个关键点属于同一人

OpenPose

在这里插入图片描述

单阶段 方法

SPM

SPM首次提出了人体此台估计的单阶段解决方案，在取得速度优势的同时，也取得了不逊色与二阶段方法的检测率。并且该方法可以直接从2D图像扩展到3D图像的人体姿态估计
在这里插入图片描述

基于Transformer的方法

PRTR

人体姿态估计和目标检测有一定相似性，都涉及对图像内容的定位
在DETR中query通过注意力机制逐渐聚焦到特定物体上
姿态估计可以模仿DETR：让query逐渐聚焦到特定人体关键点上
在这里插入图片描述

TokenPose

在这里插入图片描述

二.3D姿态估计

预测人体关键点在三维空间中的坐标，可以在三维空间中还原人体的姿态
通过给定的图像预测人体关键点在三维空间中的坐标，可以在三维空间中还原人体的姿态
输入：图像在这里插入图片描述
输出：所有人的所有关键点的空间坐标在这里插入图片描述，这里N为图中总人数，J为关键点总数

直接预测

直接基于从2D图像回归3D坐标，但2D图像不包含深度，这是一个病态问题
实际上隐式借助了语义特征或人体的刚性实现了3D姿态的推理

利用视频信息

另一种可行的办法：既然3D预测需要借助更多的信息，就可以运用视频来获取更多的帧间信息辅助推断

利用多角度图像

直接运用同一对象的多视角的图片来预测和还原3D信息

三.DensePose

四.人体参数化模型

从图像或者视频中恢复出运动的3D人体模型

姿态估计下游任务

姿态估计输出的关键点信息可以用来做行为识别，这部分内容可以关注openmmlab的mmaction2库。
也可以做CG,动画
人机交互，例如手势识别
动物行为分析

WeiZi.
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
OpenMMLab第二期：人体关键点检测与MMPose
lehoys的博客
06-07 642
从给定的图像中识别人脸、手部、身体等关键点，即输入图像I，输出为所有关键点的像素坐标，这里J为关键点的总数（取决于具体的关键点模型），例如人脸68关键点，手势21关键点，人体18关键点等等。
使用mmpose库 关键点检测
m0_54741987的博客
06-04 584
配置文件： 为了使用mmpose库进行关键点检测，需要创建一个配置文件，用于指定数据集路径、模型类型、训练参数等。在配置文件中，需要指定数据集的路径、类别数、输入尺寸、训练参数等。数据准备： 在开始使用mmpose进行关键点检测之前，需要准备适用的数据集。关键点标注通常是人工进行的，可以使用专业工具或者开源标注工具进行标注。训练模型： 使用mmpose库进行模型训练需要执行训练命令，并指定配置文件路径。训练过程中，mmpose库会加载配置文件中指定的模型和数据集，并根据配置文件中的训练参数进行迭代优化。
使用mmpose
xdn2018的博客
05-26 596
最近使用mmpose遇到一些问题，具体参考如下： https://blog.csdn.net/weixin_43013761/article/details/108147457 https://zhuanlan.zhihu.com/p/341737204 做了很好的一些基础解释，mmpose项目本身有详细指导使用手册。
【OpenMMLab】AI实战营（二）——MMPose
Satan_in的博客
06-02 440
MMPose 是一款基于 Pytorch 的姿态估计开源工具箱，是 OpenMMLab 项目的成员之一，包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块。
十分钟快速上手MMpose-实现全身关键点识别
最新发布
qq_44917046的博客
03-30 736
这是我自己做项目的时候用到一些积累经验。
计算机视觉 ｜ 人体关键点检测与MMPose
qq_37902216的博客
06-02 1743
从给定图像中识别人脸、手部、身体等关键点输入：图像输出：所有关键点的像素坐标(x1,y1),(x2,y2)... (xj,yj)，这里j为关键点的总数，取决于具体的关键点模型。
人体姿态估计（人体关键点检测）.rar
05-05
OpenPose是Facebook AI Research团队开发的一个实时多个人体关键点检测系统，它可以同时检测图像中多个个体的25个关键点，包括头部、肩部、肘部、腕部、腰部、髋部、膝部和脚踝。OpenPose采用了深度学习模型，如CNN...
mmpose:OpenMMLab姿势估计工具箱和基准
03-18
我们支持当前研究领域中广泛的主流人体姿势分析任务，包括2d多人人体姿势估计，2d手姿势估计，2d人脸界标检测，133个关键点全身人姿势估计，时尚界标检测和3d人网格恢复。 更高的效率和更高的精度 MMPose实现了多种...
MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，是 OpenMMLab 项目的成员之一
05-29
作为OpenMMLab项目的一部分，MMPose致力于提供高效、灵活且易用的解决方案，帮助研究者和开发者在人体、人手、人脸、动物以及服装等各类物体的2D和3D姿态估计任务中取得优异表现。 姿态分析是计算机视觉领域的一个...
OpenMMLab 开源体系揭秘.pdf
02-27
在语义分割领域，OpenMMLab 提供了一个完整的语义分割架构，包括 MMSegmentation, MMPose, MMAction2 等，涵盖了多种语义分割算法，包括 FCN, PSPNet, Deeplab 等。同时，OpenMMLab 也提供了一个完善的训练手段，...
人体骨骼关键点检测综述
06-26
人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。本文主要介绍2D人体骨骼关键点的基本概念和相关算法，其中算法部分着重介绍基于深度学习的人体骨骼关键点检测算法的两个方向，即自上而下（Top-Down）的检测方法和自下而上（Bottom-Up）的检测方法。
颜色分类leetcode-mmpose:mmPose：使用毫米波雷达进行人体姿态估计的开源工具箱
07-06
颜色分类leetcode 姿势 使用毫米波雷达进行人体姿态估计的开源工具箱 PI： 项目成员：& 组织：亚利桑那大学 电子邮箱：{caos, sengupta, fengjin}@email.arizona.edu 动机 虽然基于视觉的传感器提供了场景的高分辨率表示，但存在一些与其操作相关的挑战。 它们严重依赖（或受）外部光源来照亮场景，因此在光线不足、恶劣的天气条件或场景/目标被遮挡时变得无效。 这些可能导致不可逆转的灾难性事件，类似于 (i) 特斯拉的自动驾驶测试中遇到的那些，其中视觉传感器无法在明亮的天空中检测到拖拉机拖车的白色面（非常高的反射率），以及 (ii) 优步自身- 由于视觉/激光雷达传感器无法及时检测行人以避免在夜间测试期间发生事故（低/无反射率），导致亚利桑那州的驾驶车辆碰撞事故。 因此，迫切需要替代传感器来完成任务，同时克服上述挑战。 2018 年亚利桑那州的 Uber 自动驾驶车祸。 基于射频 (RF) 的传感器，例如雷达，使用自己的信号照亮目标（主动感应），因此使其在操作上对场景照明和天气条件具有鲁棒性。 然而，与基于视觉的传感器不同，雷达使用基于射频强度的空
PyPI 官网下载 | mmpose-0.12.0-py2.py3-none-any.whl
02-08
mmpose的核心功能在于处理人体关键点检测任务，它支持多种模型和算法，包括两阶段和单阶段的方法，以及基于深度学习的解决方案。 whl文件是一种Python的二进制包格式，它是Python的安装包系统pip支持的一种常见格式...
MMDetection和MMPose安装、训练、目标检测关键点检测
cjywzj123的博客
06-03 705
使用Pyhton API 预训练MMpose模型预测。
MMPose姿态估计+人体关键点识别效果演示
热门推荐
weixin_61674495的博客
09-01 1万+
MMPose开源姿态估计算法库，进行了人体关键点的效果演示。（包括肢体，手部和全身的关键点，还尝试了MMPose实时效果）
利用MMPose进行姿态估计（训练、测试全流程）
qq_20144897的博客
08-07 7244
利用MMpose进行姿态估计，对动物关键点检测模型进行微调与测试，从数据集构造开始，详细解释各模块作用，训练、测试全流程
mmpose关键点（四）：优化关键点模型（原理与代码讲解，持续更新）
litt1e的博客
10-27 4536
这种影响会随着特征尺寸的变大而更剧烈。Removing the Bias of Integral Pose Regression提出debias方法消除Softmax软化产生的影响。具体而言，假设响应值是符合高斯分布的，我们可以根据响应最大值点两倍的宽度，把特征图划分成四个区域：我们知道一旦经过Softmax，原本都是0值的2、3、4象限区域瞬间就会被长长的尾巴填满，而对于第1象限区域，由于响应值正处于区域的中央，因此不论响应值大小，该区域的估计期望值都会是准确的。让我们回到Softmax公式：
OpenMMLab-AI实战营第二期——2-1.人体关键点检测与MMPose
Castlehe的博客
06-02 1666
关键点提取，属于模式识别人体姿态估计的下游任务：行为识别（比如：拥抱。。下游任务：CG和动画，这个是最常见的应用下游任务：人机交互（手势识别，依据收拾做出不同的响应，比如：HoloLens会对五指手势（3D）做出不同的反应）自顶向下方法自底向上方法单阶段方法基于Transformer的方法。
第一篇：关键点检测算法基础及mmpose文件夹规则
认真努力，做一只会飞的毛毛虫。
04-22 9582
目录 mmpose安装包命名规则 2D人体姿态估计中的难点 SPPE mmpose安装包命名规则 具体主题下的文件夹的命名遵循以下规则(按任务类型命名)： 2d、3d代表二维或三维。 kpt、mesh代表关键点检测或网格检测。 sview、mview代表单人姿态估计（Single Person Pose Estimation, SPPE）和多人姿态估计（Multi-person Pose Estimation, MPPE）。单人姿态估计是基础，目的是要从只包含一个人的图像中找出这一个人
MMpose之训练自己的数据集-动物关键点篇
09-01
通过以上步骤，就可以使用MMpose来训练自己的数据集，实现动物关键点检测。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用[.reference_title] - *1* *2* *3* [第六篇：MMpose之...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值