DWPose: 高效的全身姿态估计模型

最新推荐文章于 2025-03-14 21:22:09 发布
最新推荐文章于 2025-03-14 21:22:09 发布
阅读量2.8k 收藏 26
点赞数 25
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloaiworld/article/details/142460148
版权

DWPose简介

DWPose是由IDEA研究院开发的一种高效全身姿态估计模型,其全称为"Effective Whole-body Pose Estimation with Two-stages Distillation"。该模型采用了两阶段蒸馏的方法,能够准确估计人体的全身姿态,包括身体、脚部、面部和手部。

DWPose的主要特点包括:

  1. 高效性:通过两阶段蒸馏,实现了高效的模型压缩,在保持准确性的同时大幅降低了计算开销。

  2. 全身姿态:不仅能估计身体主要关节点,还包括脚部、面部和手部的详细姿态。

  3. 多尺度模型:提供从tiny到large的多个模型版本,可根据实际需求选择合适的模型大小。

  4. 易于集成:支持ONNX格式,可以方便地集成到各种应用中。

DWPose的技术原理

DWPose采用了两阶段蒸馏的创新方法来实现高效的全身姿态估计:

  1. 第一阶段蒸馏:使用大型教师模型来训练一个较小的学生模型,传递关键的特征表示能力。

  2. 第二阶段蒸馏:进一步压缩模型,得到更加轻量级的版本。

这种两阶段蒸馏方法使得DWPose能在保持较高准确度的同时,大幅降低模型的计算复杂度和内存占用。

DWPose架构图

DWPose的应用

DWPose在多个领域都有广泛的应用前景:

  1. 计算机视觉:可用于视频分析、动作识别等任务。

  2. 增强现实:为AR应用提供精确的人体姿态信息。

  3. 人机交互:支持基于姿态的自然交互界

最低0.47元/天 解锁文章
helloaiworld
关注
DWPose
whaosoft143ai的博客
08-23 1567
DWPose-l模型以66.5 AP取得了 SOTA，超越了此前的 SOTA 方案 ZoomNAS (65.4 AP)。两阶段蒸馏让 RTMPose 圆了 SOTA 梦 , 搬来仅为自学 膜拜大佬~~对于关注 RTMPose 和 ControlNet 的读者而言，最近两周或许都有了解到 DWPose 这篇工作，通过在 RTMPose 模型上进行二阶段蒸馏，成功取得 COCO-WholeBody 数据集 SOTA 的同时，推理速度快如闪电。whaosoft aiot http://143ai.com
DWPose项目使用常见问题解答
gitblog_00742的博客
12-14 526
DWPose项目使用常见问题解答 DWPose "Effective Whole-body Pose Estimation with Two-stages Distillation" (ICCV 2023, CV4Metaverse Workshop) ...
使用DWPose提取姿态点——对应关节
最新发布
zxs0222的博客
03-14 315
使用DWPose提取人物姿态点时，会返回一个candidates列表，长度为18，分别记录18个人体的部位点坐标。
Human-Pose-Estimation-Papers:2D＆3D人体姿势估计
03-06
人的姿势估计文件 [CVPR 2016]-201511 -201602 其他 联合关节的3D深度卷积描述符进行动作识别 2D姿势 使用深度共识投票的人体姿势估计 通过卷积部分热图回归进行人体姿态估计 用于人体姿势估计的堆叠沙漏网络 DeeperCut：更深入，更强大，更快的多人姿势估计模型 3D姿势 迈向视点不变的3D人类姿势估计 基于贝叶斯图像的3D姿势估计 保持不变SMPL：从单个图像（聚光灯）自动估计3D人体姿势和形状 3D人体姿势估计的顺序方法：身体关节的定位和标识分离 -201605 2D姿势 CRF-CNN：人体姿势估计中的结构化信息建模 3D姿势 MoCap指导的用于野外3D姿态估计的数据增强 -201609 没有 [CVPR 2017]-201611 -201702 没有 -201703 2D姿势 多实例姿势估计中的基准测试
DWPose：高效全身姿态估计的两阶段蒸馏方法
gitblog_00024的博客
05-13 1122
DWPose：高效全身姿态估计的两阶段蒸馏方法 DWPose "Effective Whole-body Pose Estimation with Two-stages Distillation" (ICCV 2023, CV4Metaverse Workshop) ...
人体姿态估计（Human Pose Estimation）
nty102的博客
06-02 8370
人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，也是计算机理解人类动作、行为必不可少的一步，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。
人体姿态估计--Learning Feature Pyramids for Human Pose Estimation
AI小作坊 的博客
03-12 3361
Learning Feature Pyramids for Human Pose Estimation ICCV2017 Torch： https://github.com/bearpaw/PyraNet 本文主要关注人体部件中的尺度问题， scale variations of human body parts， 这种尺度变化主要发生在 camera view changes or s...
3D 人体姿态估计简述[转]
light169的专栏
05-11 2893
[转自]3D 人体姿态估计简述 - 知乎 0 前言 3D Human Pose Estimation（以下简称 3D HPE ）的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛，包括人机交互、运动分析、康复训练等，它也可以为其他计算机视觉任务（例如行为识别）提供 skeleton 等方面的信息。关于人体的表示一般有两种方式：第一种以骨架的形式表示人体姿态，由一系列的人体关键点和关键点之间的连线构成；另一种是参数化的人体模型（如 SMPL [2]），以 mesh 形式表示人体姿态和体
RTMW:实时多人2D和3D 全人体姿态估计
wqthaha的专栏
12-24 1957
全身姿势估计是一项具有挑战性的任务，它需要同时预测身体、手、脸和脚的关键点。全身姿态估计旨在预测人体的细粒度姿态信息，包括面部、躯干、手和脚，这在以人为中心的感知和生成的研究以及各种应用中发挥着重要作用。在这项工作中，我们提出了RTMW（实时多人全身姿态估计模型），一系列高性能的二维/三维全身姿态估计模型。我们将RTMPose模型架构与FPN和HEM（层次编码模块）相结合，以更好地捕获从不同尺度的不同身体部位的姿态信息。
人体姿态估计综述
热门推荐
qq_42316533的博客
05-31 1万+
任务介绍 人体姿态估计的目标是从给定的图像或视频中确定人的身体关键点（部位/关节）的位置或空间位置，如图一所示，因此，姿态估计使用基于图像的观察获得关节人体的姿态，关节人体由关节和刚性部分组成。 在估计给定图像中的人体姿势时，最常见的两种方法：1）Top-down的方法，处理从低分辨率到高分辨率进行，首先使用边界框对象检测器检测图像中的各个实例，然后重点确定它们的姿态。如图5： 然而这些方法总是受到早期检测的影响，这意味着如果最开始对个人的检测失败，就没有恢复的可能性。此外，当多个个体有重叠，模型很容易
DWPose & RTMPose
qq_33690342的博客
09-12 1602
RTMPose 基于 MMPose，旨在解决工业界中对轻量级、高速度和高精度姿态估计的需求。
【SD】dw_pose 精准骨骼识别 控制原图人物动作
资深网络工程师
11-17 1007
输入魔法词：masterpiece,best quality,highly detailed,high quality,ultra-detailed,(soft lighting:1.2),beautiful face,1girl,梦幻的背景，ocean，
为SD Web UI Controlnet使用的DWPose：令人震惊的手势识别技术。
白帽阿叁的博客
03-09 2431
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
超越RTMPose | 登顶 COCO-WholeBody 榜首：清华联合IDEA提出全身关键点检测SOTA模型 DWPose
专注计算机视觉全栈知识分享
08-27 999
OpenPose：结合不同数据集对不同身体部位进行训练，以实现分离的关键点检测。MediaPipe：构建了一个感知 pipeline，特别适用于整体人体关键点检测。ZoomNet：首次提出了一种自顶向下的方法，使用层次结构的单一网络来解决不同身体部位的尺度变化问题。ZoomNAS：进一步探索了神经架构搜索框架，以同时搜索模型结构和不同子模块之间的连接，以提高准确性和效率。TCFormer：引入了逐步聚类和合并视觉特征，以在多个阶段中捕捉不同位置、大小和形状的关键点信息。RTMPose。
AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)
赵KK的博客
04-22 1161
我们展示了 3 个可用的姿态估计库（相同的硬件和条件）之间的推理时间比较：OpenPose、Alpha-Pose（快速 Pytorch 版本）和 Mask R-CNN。：基本图像+关键点显示/保存（PNG、JPG、AVI等），关键点保存（JSON、XML、YML等），KEY点作为数组类，并支持添加自己的自定义输出代码（例如，一些花哨的UI）。：图像、视频、网络摄像头、Flir/Point Grey、IP 摄像头，并支持添加您自己的自定义输入源（例如，深度摄像头）。有关更多详细信息，请查看。
源码剖析：MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance
沉迷单车的追风少年
07-17 1058
最近一年有很多非常火的人类跳舞视频生成的工作，最近腾讯出品了基于SVD模型的MimicMotion，是目前生成结果最好，效果最稳定，分辨率最高，人物ID特征保持最好的工作，这篇博客结合论文原理和细节，深入解读《MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance》的代码。
测试DWPose的onnx +Unity barracuda
Mukae1997的博客
08-08 1544
推测还是因为barracuda这边处理split节点有点问题，但是实在不知道怎么修复。报了一些错，但是实在没查到对应的解决方法，放弃了。
人体姿态估计常见模型
qq_34425255的博客
03-18 408
文章目录一、R-CNN1.1 模型结构1.2 设计思路二、YOLOv12.1 模型结构2.2 设计思路三、OpenPose3.1 模型结构3.2 设计思路四、DWPose4.1 模型结构4.2 设计思路 一、R-CNN 1.1 模型结构 1.2 设计思路 二、YOLOv1 2.1 模型结构 2.2 设计思路 三、OpenPose 3.1 模型结构 3.2 设计思路 四、DWPose 4.1 模型结构 4.2 设计思路
comfyui dwpose
01-09
### ComfyUI DWPose 使用教程 #### 安装与配置环境 为了顺利运行ComfyUI并集成DWPose功能，需按照特定指南操作。确保下载ComfyUI时不直接克隆仓库或简单解压文件，因为这可能导致错误发生[^4]。推荐访问官方页面寻找针对Windows系统的具体安装指导或是通过指定链接获取已适配的压缩包版本。 完成软件部署之后，启动程序前应先确认所有依赖项均已正确设置完毕。对于希望利用GPU加速体验的用户来说，执行`run_nvidia_gpu.bat`脚本；而对于仅依靠CPU运算资源的情况，则选择`run_cpu.bat`来初始化应用环境。 #### 添加DWPose模型至ComfyUI 要使ComfyUI支持DWPose特性，需要将对应的姿态估计权重文件放置于恰当位置以便加载使用。具体的路径为`E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\hr16\DWPose-TorchScript-BatchSize5\`下，并且该文件名为`dw-ll_ucoco_384_bs5.torchscript.pt`[^3]。 #### 整合ControlNet模块实现图像处理 为了让上述准备好的DWPose模型能够参与到实际创作过程中去，还需进一步激活ControlNet插件机制。此过程涉及到了一系列自定义节点（Custom Nodes）的应用场景拓展，使得艺术家们可以更灵活地调整参数设定以满足不同需求下的视觉效果呈现。 ```python from comfyui_controlnet import ControlNetAuxModel, load_model_weights model_path = "path/to/dw-ll_ucoco_384_bs5.torchscript.pt" control_net = ControlNetAuxModel() load_model_weights(control_net, model_path) ``` #### 实践案例分享 当一切准备工作就绪后，便可以通过导入图片样本作为输入源，借助预先训练过的DWPose模型捕捉其中的人物姿态特征信息。随后依据这些数据驱动生成新的艺术作品雏形，期间可根据个人喜好微调各项属性直至满意为止[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值