基于深度学习的3D pose estimation总结（包括几篇2D pose estimation）

最新推荐文章于 2024-07-26 10:26:18 发布
最新推荐文章于 2024-07-26 10:26:18 发布
阅读量8k 收藏 50
点赞数 7
分类专栏： 人体姿态估计 文章标签： pose estimation 关键点检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40045309/article/details/89817585
版权
本文概述了基于深度学习的3D人体姿态估计任务，探讨了挑战，如灵活的肢体运动、视角变化和数据缺乏。主要评价指标包括PCK和mAP。介绍了Human3.6M、MPI-INF-3DHP等数据集，并讨论了Convolutional Pose Machines、Stacked Hourglass Networks等现有工作。未来研究方向包括密集多人姿态估计。
摘要由CSDN通过智能技术生成

声明：此文章是作者自己学习过程中的简单总结，也是作者第一次上传，仅供各位同行参考，也请对文中错误和不足多多指教，敬请指正，谢谢！

一、任务描述

给定一幅图或者是一段视频，人体姿态估计就是恢复出其中的人体关节点位置的过程。

二、挑战和难点

1.人体肢体运动较为灵活；

2. 视角的变化；

3.附着物的变化（比如遮挡，衣物等）；

4.3D pose  estimation缺乏数据集；

三、评价指标

主要分为以下两种：

1. PCK 

PCK的评价指标多出现在单人的姿态估计上；

定义： Percentage of Correct Keypoints (PCK)，reports the percentage of keypoint detection falling within a normalized distance of the ground truth.

2. mAP

主要用于多人姿态估计评价；

在物体检测中，我们是用IoU(intersection over union)来评价预测与真实标注之间的差异；在人体骨骼关键点的检测任务中，使用OKS(object keypoint similarity)代替IoU,对预测的人体骨骼关键点位置与真实标注之间的相似性进行评分；

3.OKS

四、数据集

对于以下数据集，1-4应用较多，其余应用较少：

1. Human3.6M （2D+3D）

http://vision.imar.ro/human3.6m/description.php

2. MPI-INF-3DHP (3D)

http://human-pose.mpi-inf.mpg.de/

3. SURREAL (3D)

https://www.di.ens.fr/willow/research/surreal/

4. Unite the People dataset(UP)   (2D + 3D)

http://files.is.tuebingen.mpg.de/classner/up/

最低0.47元/天 解锁文章
菜鸟本尊
关注
专栏目录
2D/3D Pose Estimation and Action Recognition using Multitask Deep Learning
07-04
pose a multitask framework for jointly 2D and 3D pose estimation from still images and human action recogni- tion from video sequences. We show that a single archi- tecture can be used to solve the ...
Python-自然视频3D姿态估计
08-09
3D pose estimation for wild videos， embed 2d keypoints detector like hrnet alphapose and openpose
显示三维图片序列_基于深度学习的三维姿态估计
weixin_32301287的博客
12-30 652
三维重建领域主要的数据格式有四种：• 深度图(depth map)，2D图片，每个像素记录从视点到物体的距离，以灰度图表示，越近越黑；• 体素(voxel)，体积像素概念，类似于2D之于像素定义；• 点云(point cloud)，每个点逗含有三维坐标，乃至色彩、反射强度信息；• 网格(mesh)，即多边形网格，容易计算。三维姿态估计:许多论文将人体姿态估计定义为从单视图或多视图的图像、视频序列中...
深度学习---关键点检测
最新发布
datian1234的博客
07-26 1316
前面介绍了分类、目标检测、分割以及一些常见模型和实现，这一篇接着介绍关键点检测的相关深度学习方法。已经有一些文章记录了关键点在不同领域的应用，比较详细介绍了人脸检测和骨骼点检测方面的一些论文，其他还有手势识别、服饰关键点检测等应用，这些大都是按照某一个方面的应用进行整理的，这里我按照个人的一些理解（不一定对，如果有错误或者补充各位大佬可以提醒下）将关键点检测分为基于坐标值回归、实例分割和热力图三个方面，并简单介绍常见的网络模型、数据集和评价指标。
3D人体姿态估计总结
weixin_43125047的博客
09-20 8028
3D人体姿态估计 姿态估计 人体姿态估计：估计人的关节点坐标（回归问题） RGB or RGBD 图像 or 视频 单目 or 多视角 单人 or 多人 2D or 3D 3D姿态 or 3D形态 2D姿态估计 任务 单人姿态估计 Benchmark: MPII (2014) 代表作: CPM (CVPR 2016), Hourglass (ECCV 2016) 多人姿态估计 Benchmark: COCO (2016), CrowdPose (2018) 自底向上: OpenPose (CVPR 20
3D姿态估计（GAST）
weixin_45436729的博客
05-17 656
1.下载数据集，只用到human3.6m数据集中的2D数据集和3D数据集。将数据集划分为训练集和测试集。（直接将2D数据集输入进行训练，得出的prediction和3D的groundtruth做比较） 2.在数据集中提取数据，得相机参数，2D关键点和3D关键点。 cameras_valid, poses_valid, poses_valid_2d = fetch(subjects_test, action_filter, dataset, keypoints, args.downsample) 3.
3D姿态估计——ThreeDPose项目简单易用的模型解析
热门推荐
风翼冰舟的博客
07-22 1万+
前言 之前写过tensorflow官方的posenet模型解析，用起来比较简单，但是缺点是只有2D关键点，本着易用性的原则，当然要再来个简单易用的3D姿态估计。偶然看见了ThreeDPose的项目，感觉很强大的，所以把模型扒下来记录一下调用方法。 参考博客： ThreeDPose官方代码 微软的ONNX模型解析库 ONNX解析库的pythonAPI文档 3D姿态估计最大的好处就是卡通角色的肢体驱动了，其实就是单目摄像头的动捕方法。 理论和代码解析 可以从官方去下载模型,戳这里，或者在文末的百度网盘下载。
【CVPR2018】2D3D Pose Estimation and Action Recogni
06-14
【CVPR2018】2D3D Pose Estimation and Action Recognition using Multitask Deep Learning使用多任务深度学习的二维/三维姿态估计和动作识别
Human-Pose-Estimation-Papers:2D＆3D人体姿势估计
03-06
基于贝叶斯图像的3D姿势估计 保持不变SMPL：从单个图像（聚光灯）自动估计3D人体姿势和形状 3D人体姿势估计的顺序方法：身体关节的定位和标识分离 -201605 2D姿势 CRF-CNN：人体姿势估计中的结构化信息建模 3D...
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017)
01-07
3D Human Pose Estimation = 2D Pose Estimation + Matching(2017) Abstract Many approaches try to directly predict 3D pose from image measurements,we explore a simple architecture that reasons through ...
cvPosit 3d目标姿态估计详解
11-15
介绍了cvPOSIT函数的使用方法，并提供一个姿态估计列子
3D人体姿态估计
2301_78240361的博客
01-08 1848
3D人体姿态估计是指通过算法对输入的图像或视频进行分析，推断出人体的三维姿态信息。该技术可以应用于许多领域，如虚拟现实、运动分析、人机交互等。
3D人体姿态估计（介绍及论文归纳）
weixin_43955293的博客
05-20 2689
3D人体姿态估计（介绍及论文归纳） 基本概念姿态估计难点人体结构化特性2D 姿态估计任务挑战 3D 姿态估计问题挑战应用方法 数据集类型可用信息姿态数据集PoseTrackCrowdPoseHuman3.6MDensePoseCOCOMPIIFLICLSP RGB数据集Leeds Sports Pose (LSP) DatasetFLIC DatasetMPII Human Pose DatasetMS COCO Keypoint LeaderboardAI ChallengePoseTr.
3D 人体姿态估计简述[转]
light169的专栏
05-11 2571
[转自]3D 人体姿态估计简述 - 知乎 0 前言 3D Human Pose Estimation（以下简称 3D HPE ）的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛，包括人机交互、运动分析、康复训练等，它也可以为其他计算机视觉任务（例如行为识别）提供 skeleton 等方面的信息。关于人体的表示一般有两种方式：第一种以骨架的形式表示人体姿态，由一系列的人体关键点和关键点之间的连线构成；另一种是参数化的人体模型（如 SMPL [2]），以 mesh 形式表示人体姿态和体
3dpose
jacke121的专栏
04-05 2736
有权重，100m https://github.com/mkocabas/VIBE
3D人体姿态估计（教程+代码）
2401_84024576的博客
05-16 1089
为了解决这个问题，研究者们开始探索使用深度学习技术进行3D人体姿态估计。深度学习技术能够学习到更高层次的特征表示，从而提高姿态估计的准确性。下面将对3D人体姿态估计的方法和技术进行简述。# 设置设备# 模型路径和参数# 加载模型# 数据集路径# 数据预处理# 加载数据集# 测试模型### 架构学习资料![准备两个月，面试五分钟，Java中高级岗面试为何越来越难？![准备两个月，面试五分钟，Java中高级岗面试为何越来越难？![准备两个月，面试五分钟，Java中高级岗面试为何越来越难？!
3D人体姿态估计 & transformer
qq_56437152的博客
04-30 993
具备外观和动作多样性的非受限人类视频可以从互联网大量获取，但获取精确的姿势标注需要额外的努力，且获取准确真实（GT）的三维人体姿态几乎是不可能的。我们通过掩码建模学习 PoseBERT 参数，最终得到一个通用的、独立于任务的模型，可以开箱即用，即无需对许多下游任务进行微调，例如去噪姿势序列、恢复缺失序列中的姿势，精炼 3D 中的初始姿势序列、运动完成或未来帧预测。为了更好地建模这些困难的关节，我们根据身体关节到根关节的距离将其分成几组，并将额外的与距离相关的位置嵌入分配给不同的组。
Attentional 2D-Human Pose Estimation
05-04
Attentional 2D-Human Pose Estimation refers to a technique used in computer vision and deep learning to estimate the pose of a human body in an image or a video. The technique involves the use of a ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值