3D人体姿态估计笔记

最新推荐文章于 2024-04-30 09:43:21 发布
最新推荐文章于 2024-04-30 09:43:21 发布
阅读量2.1k 收藏 8
点赞数
文章标签： 计算机视觉 机器学习 人工智能 深度学习 python

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自|3D视觉工坊

英文版: 3D-Human-Pose-Estimation-Notes

姿态估计

人体姿态估计：估计人的关节点坐标（回归问题）

  • RGB or RGBD

  • 图像 or 视频

  • 单目 or 多视角

  • 单人 or 多人

  • 2D or 3D

  • 3D姿态 or 3D形态

2D姿态估计

任务

  • 单人姿态估计

    • Benchmark: MPII (2014)

    • 代表作: CPM (CVPR 2016), Hourglass (ECCV 2016)

  • 多人姿态估计

    • Benchmark: COCO (2016), CrowdPose (2018)

    • 自底向上: OpenPose (CVPR 2017), Associative Embedding (NIPS 2017)

    • 自顶向下: CPN (CVPR 2018), MSPN (Arxiv 2018), HRNet (CVPR 2019)

  • 人体姿态跟踪

    • Benchmark: PoseTrack (2017)

    • 代表作: Simple Baselines (ECCV 2018)

挑战

  • 遮挡

  • 复杂背景

  • 特殊姿态

3D姿态估计

问题

从图片或视频中估计出关节点的三维坐标 (x, y, z) （回归问题）

  • 输入: 包含人体的图片

  • 输出: N×3个人体关节点

挑战

  • 巨大的3D姿态空间、自遮挡

  • 单视角2D到3D的映射中固有的深度模糊性、不适定性（一个2D骨架可以对应多个3D骨架）

  • 缺少大型的室外数据集（主要瓶颈）

    • 缺少特殊姿态的数据集（如摔倒，打滚等）

    • 由于数据集是在实验室环境下建立的，模型的泛化能力较差

    • 3D姿态数据集是依靠适合室内环境的动作捕捉（MOCAP）系统构建的。MOCAP系统需要带有多个传感器和紧身衣裤的复杂装置，在室外环境使用是不切实际的

应用

  • 动画，游戏

  • 运动捕捉系统

  • 行为理解

  • 姿态估计可以做为其他算法的辅助环节（行人重识别）

  • 人体姿态估计跟人体相关的其他任务一起联合学习（人体解析）

方法

  • 从2D图片直接暴力回归得到3D坐标

    • 3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network (ACCV 2014)

    • Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose (CVPR 2017)

    • 通过深度学习模型建立单目RGB图像到3D坐标的端到端映射，但是对于单一模型来说需要学习的特征太过复杂。

  • 先获取2D信息，然后再“提升”到3D姿态

    • 联合2D，3D共同训练（2D信息通常以heatmap来表示）

      • Towards 3D Human Pose Estimation in the Wild (ICCV 2017)

      • 3D Hand Shape and Pose Estimation from a Single RGB Image (CVPR 2019)

      • 需要复杂的网络架构和充足的训练样本。

    • 直接用预训练好的2D姿态网络，将得到的2D坐标输入到3D姿态估计网络中（得益于2D姿态估计较为成熟）

      • Simple Yet Effective Baseline (ICCV 2017)

      • 3D human pose estimation in video with temporal convolutions (CVPR 2019)

      • 2D姿态网络: Hourglass (ECCV 2016), CPN (CVPR 2018)

      • 优点

        • 减少了模型在2D姿态估计上的学习压力

        • 网络结构简单，轻量级

        • 实时性，快速

        • 训练快，占用显存少

      • 缺点

        • 缺少原始图像输入，可能会丢失一些空间信息

        • 2D姿态估计的误差会在3D估计中放大

  • 为什么要先进行2D估计再进行3D估计？

    • 因为基于检测的模型在2D的关节点检测中表现更好，而在3D空间下，由于非线性程度高，输出空间大，所以基于回归的模型比较流行。

数据集

  • Human3.6M (2014)

    • 3D姿态估计最大、最广泛使用的数据集

    • 360万张图像，4个不同的视角 (原数据集提供的是视频，50fps)

    • 15个动作: directions, discussion, eating, greeting, phoning, posing, purchases, sitting, sitting down, smoking, taking photo, waiting, walking, walking dog, walking together

    • 11 个人，但只有7个人包含3D姿态标签

      • 训练: S1, S5, S6, S7, S8 (1559752张图像)

      • 测试: S9, S11 (550644张图像)

    • 备注：实际使用的时候只用了7个人的数据，总共210万张图像，所以我感觉应该称为Human2.1M。而且从原数据的视频中提取出图片的时候，提取出的图片数会比标签要多，提取出来有2137070张图像，而标签只有2110396个。在使用这个数据集的时候将每个视频舍弃尾部几帧多出来的图像使得与标签一一对应。

  • HumanEva (2010)

  • MPI-INF-3DHP (2017)

评价指标

  • Mean Per Joint Position Error (MPJPE): Protocol 1，关节点坐标误差的平均值

    • 网络输出的关节点坐标与ground truth的平均欧式距离（通常转换到相机坐标）

  • Procrustes analysis MPJPE (P-MPJPE): Protocol 2，基于Procrustes分析的MPJPE

    • 先对网络输出进行刚性变换（平移，旋转和缩放）向ground truth对齐后，再计算MPJPE

  • Percentage of Correct Key-points (PCK)，正确关键点的百分比

    • 如果预测关节与ground truth之间的距离在特定阈值内，则检测到的关节被认为是正确的

  • Percentage of Correct Parts (PCP)，正确部件的百分比

    • 如果两个预测的关节位置与ground truth之间的距离小于肢体长度的一半，则认为肢体被检测到

  • 备注：做3D的问题，需要掌握各个坐标系间的转换，如世界坐标、相机坐标、图像坐标等。可参考以下两篇博文

    • 计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换

    • 相机成像模型——建立过程（世界坐标系，相机坐标系，图像坐标系，图像像素坐标系，四者之间的关系

监督方法

  • 弱监督: 不直接用标签，而用其他信息计算Loss

    • 深度图、点云、网格、GAN、3D投影到2D

  • 半监督

    • 3D投影到2D

  • 自监督

  • 全监督

视频序列的优点

  • 当前帧有遮挡的时候，可利用相邻帧的完整性解决这个问题

  • 由于单独预测每个帧的3D姿态时，每个帧中的结果与其他帧无关，会导致输出不连贯，带有视频抖动

  • 单张图片包含的深度信息是有限的，网络可以从序列中挖掘到更丰富的深度信息

  • 一张2D图片可以对应无穷多个3D姿态，让模型“多看”同个视角不同时间人的图片，可以减少深度模糊性，缩小3D姿态的空间范围

3D形态估计

问题

人体姿态重建：从图片或视频中重建或恢复人体姿态的3D模型

3D形态的表示

  • 网格: 由三角形组成的多边形网格

  • 深度图: 每个像素值代表的是物体到相机xy平面的距离

  • 体素: 三维空间中的一个有大小的点，一个小方块，相当于是三维空间中的像素

  • 点云:  某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标xyz、颜色、分类值、强度值、时间等

SMPL(A Skinned Multi-Person Linear Model)

  • 3D Mesh: SMPL

    • 输入 (82): Shape + Pose

      • 各个参数代表人体哪个部分？可参考“SMPL模型Shape和Pose参数”

    • 输出: Mesh

    • 优点: 只需要估计少量的参数便可得到包含6890个顶点的高质量的人体3D Mesh

  • 3D Pose

    • 可从3D Mesh中回归得到，其中 为预先训练好的线性回归器

  • 2D Pose

    • 可从3D Pose中使用相机内参计算得到

Reference

  • 人体姿态估计的过去，现在，未来

  • 重新思考人体姿态估计

  • 人体姿态估计(Human Pose Estimation)经典方法整理

  • A 2019 guide to Human Pose Estimation with Deep Learning

  • 从DeepNet到HRNet，这有一份深度学习“人体姿势估计”全指南

  • A 2019 guide to 3D Human Pose Estimation

  • Human Pose Estimation 101

  • 3D人体姿态估计最新研究2019

  • 3D姿态估计：语义图卷积SematicGCN与GAN-RepNet

  • 谈谈三维形态估计

  • 人体3D姿态重建与估计

  • 基于深度学习的视觉三维重建研究总结

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

小白学视觉
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
3D pose estimation 综述
weixin_40017911的博客
03-21 3884
3D pose estimation 综述 想象一下，一辆自动驾驶汽车正驶向拥挤的城市交叉路口的场景。识别正在移动的行人，并预测行人或一群行人可能在几秒钟内的位置，以决定是否和何时刹车显得很关键。再想象一个机器人在博物馆或挤满行人的购物中心担任导游。机器人识别周围人的方位和位置是很重要的，可以提供更好的引导，避免撞到行人。在这些场景中，准确的行人姿态和位置预测对于促进更有效的人机交互和车辆避碰有...
3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network（2014）
qq_43452156的博客
02-15 1376
Deep network for 3D pose estimation 本文提出两种策略去训练deep convolutional neural network以进行3D pose estimation。网络框架包含两个任务：（1）a joint point regression task;（2）joint point detection tasks。两个任务的输入都是包含human subjec...
9个最常用的人体姿态估计模型
新缸中之脑
10-09 3998
姿态估计？”……“姿态”一词对于不同的人来说可能有不同的含义，但我们不是在讨论阿诺德经典、奥林匹亚或选美表演。那么，姿态估计到底是什么？那么，让我们深入探讨这个话题。推荐：用快速搭建可编程3D场景姿态估计（Pose Estimation）在计算机视觉领域引起了极大的关注。人们越来越感兴趣的是使用计算机视觉技术来实时识别和跟踪人或物体的运动的能力，这为跨行业提供了很多用处。在先进技术不断发展的时代，姿势估计可以成为运动生物力学、动画、游戏、机器人、医疗康复和监视领域的有效工具。
Mediapipe入门——搭建姿态检测模型并实时输出人体关节点3d坐标（2024.1.4更新）
热门推荐
kalakalabala的博客
11-25 5万+
Mediapipe入门，利用mediapipe搭建人体整体检测模型，并输出右手21个关节点的坐标；mp_holistic.Holistic函数理解，mp_holistic.Holistic.process函数理解；mp.solutions.drawing_utils.draw_landmarks函数理解；Mediapipe实时姿态估计，3d骨架铰接图，matplotlib和Mediapipe绘图
3D人体姿态估计 & transformer
最新发布
qq_56437152的博客
04-30 884
具备外观和动作多样性的非受限人类视频可以从互联网大量获取，但获取精确的姿势标注需要额外的努力，且获取准确真实（GT）的三维人体姿态几乎是不可能的。我们通过掩码建模学习 PoseBERT 参数，最终得到一个通用的、独立于任务的模型，可以开箱即用，即无需对许多下游任务进行微调，例如去噪姿势序列、恢复缺失序列中的姿势，精炼 3D 中的初始姿势序列、运动完成或未来帧预测。为了更好地建模这些困难的关节，我们根据身体关节到根关节的距离将其分成几组，并将额外的与距离相关的位置嵌入分配给不同的组。
人体姿态估计资源大列表（Human Pose Estimation）
xiaolouhan的博客
11-21 5662
  基础： Human Pose Estimation人体姿态估计综述调研 人体姿态估计数据集整理（Pose Estimation/Keypoint） 姿态估计的两个数据集COCO和MPII的认识 Human Pose Estimation 101 ：https://github.com/cbsudux/Human-Pose-Estimation-101 https://g...
人体姿态估计相关论文笔记2
12-18
目前很多姿态估计方法基于人体检测器的检测结果，但是人体检测器在定位和识别方面的小错误无法避免，这会导致单人姿态估计器失败。该文提出来一种新颖的区域多人姿态估计框架，可以在人体边界框不精确的时候进行姿态...
3dmax学习笔记复习要点
07-04
3DMax 学习笔记复习要点 本笔记旨在为学习 3DMax 的学生提供一个详细的学习指南，涵盖了 3DMax 的基础知识、界面组成、视图、工具栏、参数设置、复制、基本几何体等内容。 一、 3DMax 简介 * 3DMax 是由 Autodesk...
Unity3D笔记
11-10
Unity3D笔记 是本人在看视频教程 知识点的积累，希望对学习Unity3D的初学者有帮助。
Efficient Human Pose Estimation from Single Depth Images
12-24
微软研究院的最新大作。 We describe two new approaches to human pose estimation. Both can quickly and accurately predict the 3D positions of body jointsfromasingledepthimage,withoutusinganytemporalinformation.Thekeytobothapproachesistheuseofalarge,realistic, and highly varied synthetic set of training images. This allows us to learn models that are largely invariant to factors such as pose, body shape, field-of-view cropping, and clothing. Our first approach employs an intermediate body parts representation, designed so that an accurate per-pixel classification of the parts will localize the joints of the body. The second approach instead directly regresses the positions of body joints. By using simple depth pixel comparison features, and parallelizable decision forests, both approaches can run super-realtime on consumer hardware. Our evaluation investigates many aspects of our methods, and compares the approaches to each other and to the state of the art. Results on silhouettes suggest broader applicability to other imaging modalities.
delft3d_水流计算笔记
04-08
delft3d的基本操作，适合初学delft3d的新手，Delft3D是由荷兰Delft大学WL Delft Hydraulics开发的一套功能强大的软件包，主要应用于自由地表水环境。该软件具有灵活的框架，能够模拟二维和三维的水流、波浪、水质、...
姿态估计之3D 人体姿态估计 - 总结（1）【转】
light169的专栏
05-20 6455
参考 1、3D 人体姿态估计简述 - 知乎 2、3D人体姿态估计（介绍及论文归纳） 0 前言 3D Human Pose Estimation（以下简称 3D HPE ）的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛，包括人机交互、运动分析、康复训练等，它也可以为其他计算机视觉任务（例如行为识别）提供 skeleton 等方面的信息。关于人体的表示一般有两种方式：第一种以骨架的形式表示人体姿态，由一系列的人体关键点和关键点之间的连线构成；另一种是参数化的人体模型（如 SMPL
【人体姿态估计综述（2D、3D）】
poppyty的博客
11-09 8813
人体姿态估计综述 2D 3D
2020人体姿态估计综述（Part4：3D Human Pose Estimation from Image）
qq_42974561的博客
08-24 5150
承接之前的博文： A 2020 Human Pose Estimation Review （Part1：2D Single Person） A 2020 Human Pose Estimation Review （Part2：2D Top-Down Multi-Person Pose Estimation） A 2020 Human Pose Estimation Review （Part3：2D Bottom-Up Multi-Person Pose Estimation） 目录 1 Human Pos
3D人体姿态估计（介绍及论文归纳）
m0_50811752的博客
04-27 9444
3D人体姿态估计基本概念姿态估计难点人体结构化特性2D 姿态估计任务挑战3D 姿态估计问题挑战应用方法数据集类型可用信息姿态数据集PoseTrackCrowdPoseHuman3.6MDensePoseCOCOMPIIFLICLSPRGB数据集Leeds Sports Pose (LSP) DatasetFLIC DatasetMPII Human Pose DatasetMS COCO Keypoint LeaderboardAI ChallengePoseTrackRGB+D 60/120 数据集当前主
3D 人体姿态估计简述
3D视觉工坊
08-27 4239
0 前言3D Human Pose Estimation（以下简称 3D HPE ）的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛，包括人机交互、运动分析、康复训练...
3D人体姿态估计总结
weixin_43125047的博客
09-20 7937
3D人体姿态估计 姿态估计 人体姿态估计：估计人的关节点坐标（回归问题） RGB or RGBD 图像 or 视频 单目 or 多视角 单人 or 多人 2D or 3D 3D姿态 or 3D形态 2D姿态估计 任务 单人姿态估计 Benchmark: MPII (2014) 代表作: CPM (CVPR 2016), Hourglass (ECCV 2016) 多人姿态估计 Benchmark: COCO (2016), CrowdPose (2018) 自底向上: OpenPose (CVPR 20
python-单目3d人体姿态检测 需要什么摄像头
07-18
### 回答1： 在进行Python的单目3D人体姿态检测时，我们需要使用具备一定性能和特性的摄像头。 首先，摄像头需要具备高清晰度的图像采集能力，以确保捕捉到的人体图像能够提供足够详细的信息。一般来说，采用至少1080p分辨率的摄像头是很常见的选择，以保证图像质量较高。 其次，摄像头应具备高帧率的拍摄功能，能够在短时间内连续捕捉到多个图像帧。这对于单目3D人体姿态检测来说非常重要，因为姿态检测算法需要对连续帧之间的变化进行分析和计算，高帧率能够提供更精确的结果。 此外，摄像头还需要具备适应不同环境光照条件的能力，以确保图像质量在各种光照条件下都能得到保证。一些摄像头可能具备自动曝光和自动对焦功能，可以根据环境光照自动调整参数，提供更好的图像质量。 最后，摄像头应该具备稳定性和可靠性，能够在长时间工作中保持良好的运行状态。这样能够确保姿态检测算法的运行稳定性，并且减少因为摄像头自身问题对检测结果造成的影响。 综上所述，进行Python的单目3D人体姿态检测时，我们需要选择一款具备高清晰度、高帧率、适应不同光照条件、稳定可靠的摄像头来进行图像采集。 ### 回答2： 对于使用Python进行单目3D人体姿态检测，摄像头的选择是非常重要的。下面是一些常见的摄像头类型，可供选择： 1. USB摄像头：这是最常见的摄像头类型，适用于PC或笔记本电脑。Python可以通过OpenCV库来对USB摄像头进行图像捕获和处理。一般来说，具有较高分辨率和帧率的USB摄像头可以提供更准确的人体姿态检测结果。 2. IP摄像头：这种类型的摄像头通过网络连接，可以通过IP地址来访问视频流。Python可以使用OpenCV库或其他网络摄像头库来访问IP摄像头的视频流，并进行人体姿态检测。IP摄像头通常具有更高的分辨率和增强的图像处理能力，可以提供更高质量的视频流。 3. 深度摄像头：深度摄像头可以获取场景中每个像素的距离信息，可以用于更准确地估计人体姿态。例如，Intel RealSense深度摄像头使用Python可以进行实时深度图像捕获和处理。深度摄像头可以通过计算距离并结合图像处理算法来提供更准确的人体姿态检测结果。 4. 红外摄像头：红外摄像头可以捕获人体的红外热图像，通过检测人体的热力分布来推断姿态。Python可以使用OpenCV库或其他红外图像处理库来处理红外摄像头的图像。使用红外摄像头进行人体姿态检测可以在低光或无光的情况下提供可靠的结果。 综上所述，对于Python单目3D人体姿态检测，可以根据项目需求选择合适的摄像头类型。常见的选择包括USB摄像头、IP摄像头、深度摄像头和红外摄像头。根据应用场景的特点和要求，选择适合的摄像头能够提高人体姿态检测的准确性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值