AI实战营：人体姿态估计与MMPose

已于 2023-06-02 07:48:22 修改
阅读量847 收藏 5
点赞数
分类专栏： 深度学习 文章标签： 人工智能 深度学习
于 2023-06-02 00:26:39 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/guwuyue/article/details/130997952
版权

目录

人体姿态估计的介绍与应用

2D姿态估计

多人姿态估计：自顶向下方法

多人姿态估计：自底向上方法

多人姿态估计：单阶段方法

基于Transformer的方法

基于回归的自顶向下方法

DensePose(2014)

通过级联提升精度

回归方法的优势与劣势

Residual Log-likelihood Estimation(RLE)(2021)

背景知识：回归和最大似然估计的联系

背景知识：标准化流Normalizing Flow

RLE的整体设计

残差似然函数

完整的RLE模型

基于热力图的自顶向下方法

Hourglass(2016)

局部图像的局限

级联Hourglass模块

不同的级联和监督方式

Hourglass模块

Simple Baseline(2018）

HRNet(2020)

HRNet的特征融合方式

HRNet配合不同任务头

自底向上方法

Part Affinit Fields & OpenPose(2016)

关键点与肢体的预测

关键点与关节预测

基于亲和度匹配关键点

单阶段方法

SPM(2019)

Structrued Pose Representation(SPR)

Hierarchical SPR

网络设计 

回归策略

基于Transformer的方法

PRTP 2021

PRTR两阶段算法

PRTR单阶段算法

TokenPose(2021)

2D姿态估计小结

3D姿态估计

任务描述

绝对坐标VS相对坐标

难点

思路1：直接预测

思路2：利用视频信息

思路3：利用多视角图像

直接预测：Coarse-to-Fine Volumetric Prediction 2017

直接预测：Simple Baseline 3D(2017)

利用视频信息：VideoPose3D(2018)

利用多角度图像：VoxelPose(2020)

人体姿态估计的评估方法

Percentage of Correct Parts(PCP)

Percentage of Detected Joints(PDJ)

Percentage of Correct Key-points(PCK)

Object Keypoint Similarity (OKS) base mAP

DensePose(2014)与人体参数模型

SMPL人体参数化模型

SMPLify

HMR

总结

  • 人体姿态估计的介绍与应用

    • 什么是人体姿态估计
      • 从给定的图像中识别人脸、手部、身体等关键点。
    • 3D姿态估计
      • 预测人体关键点在三维空间中的坐标，可以在三维空间中还原人体的姿态 
    • 人体参数化模型
      • 从图像或视频中恢复出运动的3D人体模型
    • 下游任务：行为识别、人机交互、动作行为分析

  • 2D姿态估计

    • 任务描述
  • 基本思路：基于回归（Regression Based）
  • 基本思路：基于热力图（Heatmap Based）

    • 热力图可以基于原始关键点坐标生成，作为训练网络的监督信息
    • 网络预测的热力图也可以通过求极大值等方法得到关键点的坐标
    • 模型预测热力图比直接回归坐标相对容易，模型精度相对更高，因此主流算法更多基于热力图，但预测热力图的计算消耗大于直接回归
  • 从数据标注生成热力图
  • 使用热力图训练模型
  • 从热力图还原关键点

  • 多人姿态估计：自顶向下方法

  • 多人姿态估计：自底向上方法

  • 多人姿态估计：单阶段方法

  • 基于Transformer的方法

  • 基于回归的自顶向下方法

    • DensePose(2014)

    • 通过级联提升精度

    • 回归方法的优势与劣势

      • 优势：
        • 回归模型理论上可以达到无线精度，热力图方法的精度受限于特征图的空间分辨率
        • 回归模型不需要维持高分辨率特征图，计算层面更高效，相比之下，热力图方法需要计算和存储高分辨率的热力图和特征图，计算成本高
      • 劣势：
        • 图像到关键点坐标的映射高度非线性，导致回归坐标比回归热力图更难，回归方法的精度也弱于热力图方法，因此DeepPose提出之后的很长一段时间内，2D关键点预测算法主要基于热力图

    • Residual Log-likelihood Estimation(RLE)(2021)

    • 背景知识：回归和最大似然估计的联系

    • 背景知识：标准化流Normalizing Flow

    • RLE的整体设计

    • 残差似然函数

    • 完整的RLE模型

  • 基于热力图的自顶向下方法

    • Hourglass(2016)

    • 局部图像的局限

    • 级联Hourglass模块

    • 不同的级联和监督方式

    • Hourglass模块

    • Simple Baseline(2018）

    • HRNet(2020)

    • HRNet的特征融合方式

    • HRNet配合不同任务头

  • 自底向上方法

    • Part Affinit Fields & OpenPose(2016)

    • 关键点与肢体的预测

    • 关键点与关节预测

    • 基于亲和度匹配关键点

  • 单阶段方法

    • SPM(2019)

    • Structrued Pose Representation(SPR)

    • Hierarchical SPR

    • 网络设计 

    • 回归策略

    • 损失函数

  • 基于Transformer的方法

    • PRTP 2021

    • PRTR两阶段算法

    • PRTR单阶段算法

    • TokenPose(2021)

    • 2D姿态估计小结

  • 3D姿态估计

    • 任务描述

    • 绝对坐标VS相对坐标

    • 难点

    • 思路1：直接预测

    • 思路2：利用视频信息

    • 思路3：利用多视角图像

    • 直接预测：Coarse-to-Fine Volumetric Prediction 2017

    • 直接预测：Simple Baseline 3D(2017)

    • 利用视频信息：VideoPose3D(2018)

    • 利用多角度图像：VoxelPose(2020)

  • 人体姿态估计的评估方法

    • Percentage of Correct Parts(PCP)

    • Percentage of Detected Joints(PDJ)

    • Percentage of Correct Key-points(PCK)

    • Object Keypoint Similarity (OKS) base mAP

  • DensePose(2014)与人体参数模型

    • 人体表面参数化
    • 标注方法
    • 网络结构
    • 改进设计
    • 身体表面网格(Body Mesh)
    • 混合蒙皮技术(Blend Skinning)
    • 线性混合蒙皮LBS(Linear Blend Skinning)

    • SMPL人体参数化模型

    • 形参参数与姿态参数
    • SMPL的基本设计逻辑
    • SMPL人体模型表示
    • 训练设计
    • SMPL模型的应用

    • SMPLify

    • SMPLify算法流程
    • 关键点投影损失
    • 人体姿态约束
    • “胶囊”近似人体
    • 人体形态约束
    • 损失函数

    • HMR

    • 算法设计
    • 回归模型设计
    • 2D投影损失
    • 引入判别器
    • 损坏函数

总结

guwuyue
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DensePose Pytorch实现 FaceBook 三维立体 3D 人体姿态估计 人体姿态迁移 姿态识别 动作识别
AI 图像识别
05-04 6419
results show transfer pose show ubuntu 16.04 cuda 9.0 cudnn 7 pytorch 1.0 ins...
mmpose:OpenMMLab姿势估计工具箱和基准
03-18
介绍 English | MMPose是一个基于PyTorch的开源姿势估计工具箱。它是的一部分。 master分支可与PyTorch 1.3+一起使用。 COCO 17点姿势估计 133点全身姿势估计（） 主要特点 支持多种任务 我们支持当前研究领域中广泛的主流人体姿势分析任务，包括2d多人人体姿势估计，2d手姿势估计，2d人脸界标检测，133个关键点全身人姿势估计，时尚界标检测和3d人网格恢复。 更高的效率和更高的精度 MMPose实现了多种最新（SOTA）深度学习模型，包括自上而下和自下而上的方法。与等其他流行的代码库相比，我们可以实现更快的训练速度和更高的准确性。有关更多信息，请参见 。 支持各种数据集 该工具箱直接支持多个流行且具有代表性的数据集，COCO，AIC，MPII，MPII-TRB，OCHuman等。有关更多信息，请参见 。 精心设计，测试和记录 我们将MMP
MMPose 是一个基于 PyTorch 的姿势估计的开源工具箱-python
06-18
MMPose 是一个基于 PyTorch 的姿势估计的开源工具箱 简介 MMPose 是一个基于 PyTorch 的姿态估计开源工具箱。 它是 OpenMMLab 项目的一部分。 master 分支与 PyTorch 1.3+ 一起使用。 Benchmark 和 Model Zoo Benchmark 与其他开源项目可在 benchmark.md 上获得。 结果和模型在每个方法的 config 目录的 README.md 中可用。 可以在模型动物园页面中找到摘要。 安装 请参考 install.md 进行安装。 入门 请参阅getting_started.md 以了解MMPose 的基本用法。 许可证 这个项目是在 Apache 2.0 许可证下发布的。 贡献 我们感谢所有为改进 MMPose 所做的贡献。 有关贡献指南，请参阅 MMDetection 中的 CONTRIBUTING.md。 引用 如果您在研究中使用此工具，请引用此项目。 @misc{mmpose, author = {Wang, Can* and Jin, Sheng* and Duan, H
hrnet量化后的rknn模型，经测试后关键点坐标对齐，可用
02-17
原模型为pytorch转后得到的onnx文件hrnet_coco_w32_256x192.onnx，用的coco val数据集做的量化，输入为（1，3，256，192），输出为（1，17，64，48）的关键点热图，后面通过高斯化函数可得到关键点，结果经测试。
【AI识人】OpenPose：实时多人2D姿态估计 | 附视频测试及源码链接
胭脂草的ABC博客
07-30 5054
前言 前段时间很火的感人动画短片《Changing Batteries》讲了这样一个故事：独居的老奶奶收到儿子寄来的一个机器人，虽然鲜有语言的沟通，但是小机器人善于察言观色，不仅能在老奶奶口渴时为她端水、在老奶奶扫地时接过老奶奶的扫把，做力所能及的家务活，如果老奶奶在椅子上看电视睡着了，机器人还为她轻轻盖上毯子。有了它，老奶奶又重新感受到久违的快乐，过上了更轻松的生活。 那么，机器人是怎么察言观色的呢？ AI识别人的五重境界 AI识别人可以分成五个层次，依次为： 1.有没有人？-&...
AI算法和笔记 | 基于深度学习和传统算法的人体姿态估计
qq_40636639的博客
05-27 3523
这次我们再来讲讲计算机视觉里边的第二个研究热点，即人体姿态估计，人体姿态估计现在还有很多问题急需解决，比如遮挡，交互等等。在最近的CVPR2020里边也有很多这方面的工作。
人体姿态估计与MMPose
Nicole_d的博客
06-01 452
关键点之间的亲和度构成一个带权重的K部图，关键点的聚类问题转变为K部图最优匹配问题，只考虑人体相连的关键点，将KK部图匹配问题分解为K-1个独立的二部图匹配问题，再借助匈牙利算法求解。PRTR两阶段算法：人体检测阶段，使用DETR检测出图中的不同的人—关键点检测阶段，使用DETR结构，query学习关键点信息，最终回归关键点位置。1.直接预测：直接基于从2D图像回归到3D坐标，但2D图像不包含深度，实际上隐式的借助了语义特征或者人体的刚性实现3D姿态的推理。
【7班】【笔记】人体姿态估计与MMPose-卢策吾
munan52的博客
06-02 275
SMPL：针对构建人体参数化模型，将人体建模从N=6890个顶点和K=23个关节点为基础的身体表面网格，并设计形态参数beta和姿态参数theta控制人体变化。SPR：引入辅助关节-根关节（统一人体实例和身体关节的位置信息，解决多人姿势估计的单阶段解决方案）表示人员实例位置，唯一关节标识。身体表面网格Body mesh：由多边形（三/四边形）网格组成构建的人体表面模型，通常由最具有3D位置坐标的顶点定义。可以级联形成更强的模型，每个模块分支输出H，和GT热力图比较计算损失。
PRTR论文代码解读
babbycool的博客
02-09 1546
这里对PRTR论文进行解读记录，方便自己以后学习。
AI人体姿态估计
qq_42749443的博客
12-27 318
https://blog.csdn.net/sparkexpert/article/details/77712284
颜色分类leetcode-mmpose:mmPose：使用毫米波雷达进行人体姿态估计的开源工具箱
07-06
使用毫米波雷达进行人体姿态估计的开源工具箱 PI： 项目成员：& 组织：亚利桑那大学 电子邮箱：{caos, sengupta, fengjin}@email.arizona.edu 动机 虽然基于视觉的传感器提供了场景的高分辨率表示，但存在一些与其...
MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，是 OpenMMLab 项目的成员之一
05-29
基于 PyTorch 的姿态估计算法库，支持人体、人手、人脸、动物、服装等多类物体的 2D/3D 姿态估计。
MMPose姿态估计+人体关键点识别效果演示
热门推荐
weixin_61674495的博客
09-01 1万+
MMPose开源姿态估计算法库，进行了人体关键点的效果演示。（包括肢体，手部和全身的关键点，还尝试了MMPose实时效果）
AI实战：人体姿态估计/跟踪算法（Human Pose Estimation/Tracking）开源汇总
Zack的博客
09-07 6970
前言 人体骨架是以图形形式对一个人的方位所进行的描述。先看个人体骨架示例图： 骨架是一组坐标点，可以连接起来以描述该人的位姿。骨架中的每一个坐标点称为一个“部分（part）”（或关节、关键点）。两个部分之间的有效连接称为一个“对（pair）”（或肢体）。 多人姿态估计，示例图： 开源汇总 OpenPose 论文 https://arxiv.org/pdf/1812.08008....
人体姿态估计算法之open pose
maopig的专栏
03-16 3999
一，openpose是一种自底向上的算法： OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。 检测所有的关键点，再group成不同的人，是当前比较流行的人体姿态评估算法之一。OpenPose 大获成功的一部分原因是它在 GitHub 上...
Openpose+Tensorflow 这样实现人体姿态估计 | 代码干货
AI科技大本营
07-07 3943
作者 | 李秋键出品 | AI科技大本营（ID:rgznai100）人体姿态估计指从单个 RGB 图像中精确地估计出人体的位置以及检测骨骼关键点的位置。人体姿态估计是计算机视觉领域的研究热...
RANSAC算法概述
最新发布
点云侠的博客
05-20 445
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1438
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 787
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
ModuleNotFoundError: No module named 'mmpose'
09-29
ModuleNotFoundError: No module named 'mmpose' (没有名为'mmpose'的模块)通常是由于未正确安装或未导入所需的Python模块引起的。要解决此问题，您可以按照以下步骤进行操作： 1. 确保已正确安装了'mmpose'模块。您可以使用pip或conda来安装它。打开终端或命令提示符，并运行以下命令： - 如果您使用的是pip：pip install mmpose - 如果您使用的是conda：conda install -c conda-forge mmpose 2. 确保您在Python脚本中正确导入了'mmpose'模块。在您的代码中，添加以下行进行导入： import mmpose 如果您按照上述步骤操作后仍然遇到问题，请确认您的环境是否正确设置，并确保已正确安装和导入所有依赖项。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值