RTMPose

已于 2023-03-17 11:38:26 修改
阅读量2.2k 收藏 4
点赞数 3
分类专栏： 训练模型 Pose 文章标签： 深度学习 人工智能 神经网络
于 2023-03-17 10:12:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MyArrow/article/details/129612147
版权

RTMPose

1. 简介

  • RTMPose：Real-Time Multi-Person Pose Estimation based on MMPose (实时支持6人)
  • GAU：Gated Attention Unit
  • FFN：Feed-Forward Networks
  • GLU：Gated Linear Unit
  • RTMPose：Top-Down范式
  • 推理时间-准确度 （圆的大小表示模型参数的相对大小）
    在这里插入图片描述

2. 网络结构

  • Backbone：CSPNeXt (在速度与精度间可取得较好的平衡，且可进行友好地布署)
  • 预测KeyPoints：SimCC-based (把关键点定位当作一个分类任务，与基于热图(heatmap)的算法相比，SimCC-base可以获得具有竟争力的准确度和更低的计算量)
    • 坐标分类（本方法）
    • 坐标回归 （其它方法）
    • 热图回归（其它方法）
  • 部署支持的推理框架：PyTorch, ONNX Runtime, TensorRT, ncnn
    在这里插入图片描述

2.1 RTMPose推理Pipeline

在这里插入图片描述

2.2 性能比较

  • 检测器
    • YOLOv3
    • Faster-RCNN
    • RTMDet
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

2.3 RTMPose训练参数

在这里插入图片描述

Arrow
关注
专栏目录
RTMPOSE S EAR 自训练 300 epoch
06-04
RTMPOSE S EAR 自训练 300 epoch
tfjs-posenet:使用预先训练的TensorFlow.js模型PoseNet进行实时姿态检测
05-13
PoseNet和TensorFlow.js 这是在浏览器中使用预训练模型的示例。 对于此特定示例，这是训练有素的模型，这是一种用于移动视觉的有效CNN。 PoseNet可以使用单姿势或多姿势算法检测图像和视频中的人物。 有关此机器学习模型的更多详细信息， ，以获取在Tensorflow.js上运行的PoseNet的高级描述。 查看 笔记： 该代码基于TensorFlow团队发布的模型。 我借用，改编并将其变成一个React组件。 请记住，我刚刚在Chrome中对其进行了测试。 不好意思，我不在乎其他浏览器进行此类实验。 出于明显的原因，您必须允许使用网络摄像头。 不用担心，图像会保留在您的浏览器中。 假设这是GDPR的合规性 :winking_face_with_tongue: PoseNet React组件 import * as React from 'react' import ReactDOM from 'react-
mmlab-3 之 RTMPose与mmpose
weixin_43948284的博客
06-04 244
自顶向下(top-down)：先用目标检测算法从图像中将待检测物体识别出来，给出检测框，然后对检测框运行检测关键点检测算法；自底向上(bottom-up)：检测出图像中所有潜在的关键点，然后对所有的关键点进行分类，将属于同一客观物体的关键点分配给同一物体；
我的开源项目 - 使用OnnxRuntime在CPU端部署RTMPose玩转实时2D姿态估计
HW140701的博客
04-28 2221
好了，在本小节中会详细介绍如何使用OnnxRuntime在CPU端进行RTMDetnano+RTMPose模型的部署，在本教程中会实现基于RTMDetnano+RTMPose的一个Top-Down的2D姿态估计示例，由RTMDetnano检测人，然后根据检测框裁剪相应的图片区域喂给RTMPose进行姿态估计，进行了一个简单的跳帧检测的实时2D姿态估计的C++类，好了，就让我们愉快的开始吧。RTMPose的亮点主打的就是工业级别的推理速度和精度，这在他的论文摘要也是着重突出，可以仔细看他的论文摘要，
RTMPose关键点检测-MMDetection三角板目标检测
shinsonwu的博客
06-04 396
而MMDetection也是是OpenMMLab的一个开源工具库，主要用于目标检测任务，包括但不限于目标定位和分类。MMDetection会输出每个检测到的三角板的位置信息。RTMPose会输出每个检测到的人体的关键点的位置信息。RTMPose是一个用于实时多人2D姿态估计的开源工具库，它可以从图像或视频中检测出人体关键点的位置。视频重的代码没有使用GPU，只使用了CPU，可以后续在自己实验的时候试试本地的GPU。将RTMPose的输出和MMDetection的输出进行进一步的处理或分析。
RTMPose关键点检测实战——笔记3
AI浩
06-04 1832
今天，学习RTMPose关键点检测实战。教大家如何安装安装MMDetection和MMPose。实战项目以三角板关键点检测场景为例，结合OpenMMLab开源目标检测算法库MMDetection、开源关键点检测算法库MMPose、开源模型部署算法库MMDeploy，全面讲解项目全流程：数据集：Labelme标注数据集、整理标注格式至MS COCO目标检测：分别训练Faster R CNN和RTMDet-Tiny目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测。
【MMPose】1.x版本安装与体验（测试YOLOX-Pose和RTMPose）
qq_21532607的博客
04-18 1701
除此之外，mmpose更新了yolox-pose和一个对于topdown方法来说过于超前的RTMPose（为什么说它超前，因为官方说它不仅有很高的精度，并且在1660ti上的推理速度能达到400+FPS，cpu上能达到100+FPS！详情见废话不多说，下面就进行一下MMPose1.x版本的安装体验。
RtmPose论文翻译
qiqisunshine的博客
06-14 1337
从现代自然语言处理（NLP）移植而来的基于转换器的架构[55]在各种视觉任务中取得了巨大成功，如表示学习[15，39]、对象检测[8，34，67]、语义分割[66]、视频理解[4，17，40]以及姿态估计[36，43，51，61，62]。Bottom-up Approaches.自下而上的算法[7，10，19，27，29，41，44，45]检测图像中的未知实例的关键点，并对这些关键点进行组合以获得人体姿势。我们采用了[42]中提出的训练策略，并进行了一些小的调整，使其在姿态估计任务中更有效。
上手OpenMMLab——从0开始使用RTMPose关键点检测（足够本科课设的工作量）
Yuetian_w的博客
06-12 2245
数据集：Labelme标注数据集、整理标注格式至MS COCO目标检测：分别训练和目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测关键点检测：训练RTMPose-S关键点检测模型、训练日志可视化、测试集上评估、分别对“图像、视频、摄像头画面”预测模型终端部署：转ONNX格式，终端推理视频教程合集：https://space.bilibili.com/1900783/channel/collectiondetail?
算法部署-使用TensorRT部署RTMPose人体姿态估计算法-优质算法部署项目实战.zip
03-06
算法部署_使用TensorRT部署RTMPose人体姿态估计算法_优质算法部署项目实战
【OpenMMLab AI实战营第二期】RTMPose关键点检测
JeffDing
06-03 536
OpenI 启智集群内存：50GCUDA：11.8。
RTMPose关键点检测实战
qq_44798533的博客
06-03 303
本次课程提供了详细的安装、训练、推理全流程以及大量的代码资源，同时提出新发现的问题，即预测关键点的点云概率出现了等间距的虚影。理论指导实践，实践也会反馈完善理论。对于数据集的标注，虽然没有亲自上手体验，但是提供的数据集和代码有着几乎固定的格式，这让每个部分相互独立，又相互依赖。通过做作业，感觉对OpenMMLab的环境搭建和基本训练和推理流程有了更深的理解和掌握。这也是学习的目的和作用。对于改进模型等更高级的玩法，我在别的库体验过，总的来说，这次的学习还是很有收获，继续加油。工具好用，不能驾驭也是不行。
2D/3D人体姿态估计 （2D/3D Human Pose Estimation）
热门推荐
MyArrow的专栏
02-29 1万+
1. 基本概念 2. 发展现状
rtmpose添加自注意力机制
最新发布
03-15
rtmpose是一个用于人体姿态估计的开源项目，它使用了深度学习技术来实现准确的姿态估计。自注意力机制是一种用于提取特征的技术，它可以帮助模型自动学习到输入数据中的重要信息。 在rtmpose中添加自注意力机制可以进一步提升姿态估计的准确性和鲁棒性。具体来说，自注意力机制可以帮助模型在处理人体姿态时更加关注重要的身体部位和关节，从而提高对姿态的理解和预测能力。 添加自注意力机制的步骤如下： 1. 定义注意力机制：在模型中引入自注意力机制，可以使用Transformer等模型结构来实现。 2. 特征提取：将输入数据（例如图像）通过卷积神经网络进行特征提取，得到特征图。 3. 特征转换：将特征图转换为注意力图，可以使用全连接层或卷积层来实现。 4. 注意力加权：将注意力图与特征图相乘，得到加权后的特征图。 5. 姿态估计：将加权后的特征图输入到后续的姿态估计模块进行处理，得到最终的姿态估计结果。 通过添加自注意力机制，rtmpose可以更好地捕捉到人体姿态中的细节和关键信息，从而提高姿态估计的准确性和鲁棒性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值