《Learning to Estimate 3D Hand Pose from Single RGB Images》代码运行阅读笔记

最新推荐文章于 2024-05-17 09:43:33 发布
最新推荐文章于 2024-05-17 09:43:33 发布
阅读量3k 收藏 15
点赞数 3
分类专栏： 实验室工作 文章标签： 手势识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyue3052/article/details/82252013
版权
本文记录了阅读《Learning to Estimate 3D Hand Pose from Single RGB Images》代码的过程，包括环境搭建、数据集使用、网络训练和测试。文章提到了使用Stereo和Dexter数据集，通过HandSegNet、PoseNet和PosePrior网络进行训练，并提供了在自己照片上测试的方法。
摘要由CSDN通过智能技术生成

读懂这个文章的代码，并能在自己的照片上测试

文章链接

代码链接

环境搭建

环境是很久以前搭的，已经忘了。不过按照github中的readme一步一步来基本没问题。

数据集

根据文章中所讲目前可用的带关键点位置的RGB数据集有：Steror和Dexter。NYU数据集主要用于深度图不作考虑。不过这两个数据集太小，而且人工标注不够精确，所以用模型生成的数据做一个补充（工具：Mixamo、Blender、背景）。一共有320*320大小的41258张训练图像和2728张测试图像。

值得注意的是文章中说有深度图的数据和分割标签。

最低0.47元/天 解锁文章
chen5561
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
Learning to Estimate 3D Hand Pose from Single RGB Images
m0_61945533的博客
04-01 515
文章目录一、研究的背景和意义二、网络结构三、实验数据集实验结果四、总结 一、研究的背景和意义 手是人类的主要操作工具。手在空间中的位置，方向和关节对于许多潜在的应用至关重要，例如：机器人中的对象切换，演示学习，手语识别和手势识别，以及将手作为人机交互的输入设备。 单个图像的整个手的3D手势估计很困难，因为有很多含糊不清的关节点和严重的自我遮挡。因此，使用特定的传感设备，如数据手套或标记，这将应用限制在有限的情况下。此外，多台摄像机的使用严重限制了应用范围。而且，深度相机并不像普通彩色相机那样容易使用，它
3D hand pose：Learning to Estimate 3D Hand Pose from Single RGB Images
Airs-Gao的博客
08-11 613
Learning to Estimate 3D Hand Pose from Single RGB Images论文解析1. 概述2. 简介3. Hand pose表示4. 3D hand pose估计4.1 Hand segmentation with HandSegNet4.2 Keypoint score maps with PoseNet4.3 3D hand pose with the PosePrior network4.4 Network training5. 数据集6. 实验6.1 Hand
探索ColorHandPose3D网络：实时三维手部追踪的未来
最新发布
gitblog_00032的博客
05-17 352
探索ColorHandPose3D网络：实时三维手部追踪的未来 项目地址:https://gitcode.com/lmb-freiburg/hand3d ColorHandPose3D是一个深度学习网络，能够从单个RGB图像中估计三维手部姿势。这个创新项目不仅提供了强大的技术，还提供了易于使用的示例代码和详细文档，让开发者可以轻松上手并进行进一步的研究。 项目简介 ColorHandPose3D...
Learning to Estimate 3D Hand Pose from Single RGB Images阅读笔记
qhd12的博客
12-27 575
本文是第一篇研究从单目图像中预测3D手姿的论文。先后主要包含三个阶段手势分割，2D关键点预测，3D关键点预测，并分别对应三个网络。在摘要阶段介绍了相关背景并概述了工作内容。在第一部分介绍，讲述了流行的3D手姿估计，本文所采用的大致方法，以及在数据集方面存在的困难。在第二部分相关工作，讲述了二维人体姿态估计，三维人体姿态估计，并据此进行三维手姿估计。在第三部分手姿表示，讲述了手姿用何表示。在第四部分3D手姿估计，讲述了通过HandSegNet进行手部分割，通过PoseNet得到关键点得分图，根据PosePri
Learning to Estimate 3D Hand Pose from Single RGB Images论文理解
Carol_learning的博客
11-10 752
学习从单一RGB图像估计3D手的姿态 ill-posed problems 定义：满足以下条件称为适定问题(well-posed problem)：1. a solution exists 解必须存在2. the solution is unique 解必须唯一3. the solution’s behavior changes continuously with the initial conditions. 解能根据初始条件连续变化，不会发生跳变，即解必须稳定 理解：病态问题简单来
2019 CVPR_ICCV_CSCV_ 3D Human Pose Estimation PAPER
10-06
在计算机视觉领域，3D人体姿态估计是一项关键任务，它涉及到对图像或视频中人物的三维关节位置的准确预测。2019年的CVPR、ICCV和CSCV等顶级会议上，研究者们展示了众多关于这个主题的创新性工作。这些论文不仅推动了...
Liu 等。 - 2018 - FlowNet3D Learning Scene Flow in 3D Point Clouds.pdf
11-28
FlowNet3D Learning Scene Flow in 3D Point Clouds. Many applications in robotics and human-computer interaction can ...RGB-D images as input, few try to estimate scene flow directly from point clouds.
Semi-Automatic 2D-to-3D Conversion Using disparity propagation
10-10
In this paper, a novel semi-automatic 2D-to-3D conversion method is presented to estimate the disparity maps for regular 2D video shots. Our method requires only a few user-scribbles on very sparse ...
estimate3d:3D打印成本估算器
05-29
估计 3D 它通过上传 STL、rerap GCODE 文件或包含这些文件的压缩 zip 文件来估算您的 3D 打印成本。 您可以选择不同的切片机和材料。 它还考虑了您的能源开支。 演示： : 跑步您可以从 IDE 运行应用程序主类。 或者...
基于单色图像的网络估计 3D 手势_python_matlab_代码_下载
06-17
ColorHandPose3D 是一种卷积神经网络，可从单个 RGB 图像估计 3D 手部姿势 效果展示： https://github.com/lmb-freiburg/hand3d/raw/master/teaser.png 训练和评估的预处理 为了使用训练和评估脚本，您需要下载和预处理数据集。 渲染的手部姿势数据集 (RHD) 立体跟踪基准数据集 (STB) 对于 eval3d_full.py，有必要获取 Zhang 等人提出的数据集，“3d Hand Pose Tracking and Estimation Using Stereo Matching”，2016 解压数据集后运行 cd ./data/stb/ matlab -nodesktop -nosplash -r "create_db" 这将创建二进制文件./data/stb/stb_evaluation.bin 以下步骤将指导您在渲染手部姿势数据集 (RHD) 上训练 HandSegNet 和 PoseNet。 确保您遵循“预处理”部分中的步骤 使用 training_handsegnet.py
ColorHandPose3D：基于单个RGB图像的3D手部姿势估计的卷积神经网络解析
qq_38334677的博客
08-24 100
ColorHandPose3D是一种卷积神经网络（CNN），它的设计目标是从单个RGB图像中估计3D手部姿势。与其他方法不同，ColorHandPose3D不需要任何其他传感器或深度信息。这使得它在资源有限的设备上，如智能手机或平板电脑上，都能轻松运行。
Scan2CAD: Learning CAD Model Alignment in RGB-D Scans学习总结
weixin_42001376的博客
09-25 1232
Scan2CAD: Learning CAD Model Alignment in RGB-D Scans的学习总结 概述：团队研究人员研究的内容是通过训练后的新颖3D卷积神经网络去接受一个半虚拟半真实组合成的对象作为输入，并且生成相对应的热图，最后通过一个9DoF位姿优化算法去将这个热图最终重建成一个对应的CAD模型并且根据输入场景进行对齐。 数据集设计： 他们设计了自己的数据集Scan2CAD作为训练神经网络的数据。Scan2CAD数据集的设计都是基于ShapeNet中的CAD模型以及ScanNet中的
《Learning to Estimate 3D Hand Pose from Single RGB Images》 论文笔记
weixin_42752753的博客
04-23 1343
低成本的深度相机和深度学习使得能够从深度图像进行合理的3D手姿势估计； 本文提出了一种从常规RGB图像估计3D手姿态的方法。由于缺少深度信息，该任务具有更多的模糊性； 为此，本文提出了一个深度网络，学习网络隐式3D关节的先验。与图像中检测到的关键点一起，该网络 产生良好的3D姿势估计； 引入了基于合成手模型的大规模3D手势数据集用于训练相关网络。在各种测试集上的实验，包括关于手语识别的测试，证明了对单一RGB图像3D手姿态估计的可行性
2021-“新“的开源项目之handpose_x（手势识别交互）
Eric.Lee的博客
03-04 9045
自己从事算法工作多年，每个算法技术想要真正落地是很难的，或是经历漫长艰辛的过程才得以成功。随着时间自己更多的去思考在这个行业自己的方向、价值在哪里。在算法这个领域，我不属于学者研究型，我想这个领域大多数的同学更多的是工程落地+算法改进。至少在我的周围表现出的现象是绝大多数更甚者所有的算法模型都是借鉴开源网站项目。对我自身而言其实这没有什么不好，使项目实现更高效，风险更低，时间成本更少。但是反过来想想，自身不可替代性又在哪。单个具体算法有点功底的人都可以使用，大家训练的模型可能差距就是微小的几个...
3D hand pose：Minimal Hand
Airs-Gao的博客
10-21 1716
“Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data”论文解读0. 概述1. 简介2. 方法2.1 DetNet2.2 手模型和形状估计2.3 IKNet 论文链接：https://calciferzh.github.io/files/zhou2020monocular.pdf 论文出处：2020 CVPR 论文单位：清华大学 论文代码：Tensorflow版本，Pytorch版本 0. 概述 论文提出了一
手势估计- Hand Pose Estimation
热门推荐
MyArrow的专栏
07-17 2万+
1. 目前进展 1.1 生成模型      1.2 判别模型     1）J. Tompson, M. Stein, Y. LeCun, and K. Perlin. Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks. ACM Transactions on Graphics, 33
estimate_pose_for_tag_homography
06-10
`estimate_pose_for_tag_homography` 是一个用于估计相机位姿的函数，它基于 Apriltag 检测结果中的 Homography 矩阵来计算相机的旋转和平移。具体来说，该函数使用 OpenCV 中的 `solvePnP` 函数来求解相机位姿。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值