人体姿态估计(Human Pose Estimation)

        

目录

 1,人体姿态估计的介绍与应用

2、2D姿态估计

 2.1 自顶向下的方法

基于热力图的自顶向下方法

2.2 自底向上的方法

2.3 单阶段方法

2.4 基于Transformer的方法

 2D姿态估计小结; 

3,3D姿态估计

3.1 直接预测

3.2 利用视频讯息

3.3 利用多角度图像

4,人体姿态估计的评估方法

5,DensePose

6,人体参数化模型


        人体姿态估计(Human Pose Estimation)是计算机视觉领域中的一个重要研究方向,也是计算机理解人类动作、行为必不可少的一步,人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点,目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。

 1,人体姿态估计的介绍与应用

 从给定的图像中识别人脸、手部、身体等的关键点;

预测人体关键点,并在图像或视频的恢复3D运行状态;

2、2D姿态估计

2D人体姿态估计:在图像上定位人体关键点(通常为人力主要关节)的坐标; 

关键点检测问题建模成回归问题,让模型直接回归关键坐标,

 

 基于热力图:

不直接回归关键的坐标,而是预测关键位于每个文职的概率;

热力图可以基于原始关键点坐标生成,作为训练网络的监督信息;

网络预测的热力图也可以通过求极大值等方法得到关键点的坐标;

模型预测热力图比直接回归坐标相对容易模型精度相对更高,因此主流算法更多基于热力图但预测热力图的计算消耗大于直接回归;

 

 

        2.1 自顶向下的方法

        step1,使用目标检测算法检测出每个人体

        step2,基于单人图像估计每个人的姿态

        优缺点:整体精度受限于检测算法的精度;速度和计算量与人体个数正相关;

        一些新工作(SPM)考虑将两个阶段聚合成一个阶段

        

DeepPose(2014)

优势:
        回归模型理论上可以达到无限精度,热力图方法的精度受限于特征图的空间分辨率.回归模型不需要维持高分辨率特征图,计算层面更高效,相比之下,热力图方法需要计算和存储高分辨率的热力图和特征图,计算成本更高
劣势:
        图像到关键点坐标的映射高度非线性,导致回归坐标比回归热力图更难,回归方法的精度也弱于热力图方法,因此 DeepPose 提出之后的很长一段时间内,2D 关键点预测算法主要基于热力图

RLE(Residual Log-likelihood Estimation)

基于热力图的自顶向下方法

Hourglass:

 

 HRNET;

2.2 自底向上的方法

        基本思路:基于图像同时预测关键位置四肢走向,利用肢体走向辅助关键点的聚类;即,如果两个人关键点有某段肢体相连,则这两个关键点属于同一人;

 

 

 

        OpenPose

2.3 单阶段方法

        SPM

 

 

 

 

2.4 基于Transformer的方法

        PRTR

        TokenPose

 2D姿态估计小结; 

3,3D姿态估计

3.1 直接预测

        通过给定的图像预测人力关键点在三维空间中的坐标,可以在三维空间中还原人体的姿态;  

       

         

        Coarse-to-Fine

        Simple Baseline 3D

3.2 利用视频讯息

        VideoPose 3D

3.3 利用多角度图像

        VoxelPose

4,人体姿态估计的评估方法

5,DensePose

6,人体参数化模型

        SMPL

        SMPLify

        HMR


 

  • 14
    点赞
  • 85
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
人体姿态估计计算机视觉领域的一项研究任务,旨在通过图像或视频数据来估计人体的关节位置和姿态信息。Python作为一种功能强大且易于使用的编程语言,被广泛应用于人体姿态估计的开发和实践中。 在Python中,我们可以使用开源的人体姿态估计库,例如OpenPose、HRNet等。这些库提供了一系列预训练的神经网络模型,能够从输入图像中准确地检测和定位人体的关节位置。 具体而言,我们可以通过以下步骤来实现人体姿态估计: 1. 数据准备:收集训练数据集,包括带有关节标注的人体图像或视频数据。 2. 模型选择:选择适合任务的预训练模型,如OpenPose或HRNet。 3. 模型加载:使用Python中的相应库加载选定的模型。 4. 图像处理:对输入图像进行预处理,包括尺度调整、图像归一化等。 5. 姿态估计:将预处理后的图像输入到模型中,获取关节位置信息。 6. 可视化:将估计的关节位置信息可视化到原始图像上,以便于人眼观察和分析。 除了库中提供的现成模型,我们还可以使用Python自带的机器学习和深度学习框架,如TensorFlow、PyTorch等,从头开始训练自定义的人体姿态估计模型。 总之,人体姿态估计Python实现非常便捷,借助丰富的开源库和框架,我们可以快速搭建和部署人体姿态估计系统,为各种应用提供准确的人体姿态信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值