PoseC3D模型的关注点

最新推荐文章于 2024-06-08 16:50:04 发布
最新推荐文章于 2024-06-08 16:50:04 发布
阅读量386 收藏
点赞数 8
文章标签： 人工智能 机器学习 深度学习 python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34425255/article/details/138990938
版权

分析：那就是如果想要使用PoseC3D这个模型，首先需要清楚一点PoseC3D这个模型仅接受Skeleton作为后续输入。

所以这个时候有两种办法，第一种办法是从RGB视频数据构建，第二种办法是从现有的关键点数据构建。

有点类似于第一种办法通过人体姿态估计算法来构建，第二种办法通过深度相机内部集成了人体姿态估计算法自动就会生成关键点数据。

考虑到成本，我们可以采取第一种办法。

 

 参考：

Prepare Dataset — MMAction2 1.2.0 documentation

https://github.com/open-mmlab/mmaction2/issues/1216

鱼儿会飞吗
关注
  • 8
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PoseC3D 基于人体姿态的动作识别新范式
一杯水果茶！足矣~
09-03 1652
PoseC3D 和 PoseConv3D 都是基于人体姿态的动作识别的论文，它们都使用了三维卷积网络来处理骨骼点转换后的热图堆叠，而不是使用图卷积网络来处理骨骼点序列。它们都在多个数据集上取得了很好的效果，超越了之前的基于 GCN 的方法。
[基于骨架的动作识别] PoseC3D (2021)
qq_17030183的博客
01-23 6740
背景 基于骨架的动作识别 GCN的局限性 鲁棒性：GCN的识别能力很受骨骼点坐标点平移的影响 互操作性：之前研究表明，不同模态（RGB、光流、骨架）是互补的，不同模态的结合能提升识别的性能。GCN很难与其他模态融合 可扩展性：GCN将每个人的单一骨骼点视为一个节点，当人数增加时，GCN的复杂度线性增加 整体框架 姿态估计：人体骨骼点坐标 热图生成 PoseC3D：分类 热图生成 根据骨骼点坐标，使用高斯核生成，每帧生成K✖️H✖️W的热图，然后将T帧的堆叠得到整个序列的3D 热图，维度为K✖️T✖
CVPR 2022 Oral｜港中文开源PoseC3D：基于3D-CNN的骨骼动作识别框架
阿木寺的博客
04-18 6455
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自丨极市平台 作者丨Kenny@知乎来源丨https://zhuanlan.zhihu.com/p/493374779导读PoseC3D是一种基于 3D-CNN 的骨骼行为识别框架，同时具备良好的识别精度与效率，在包含 FineGYM, NTURGB+D, Kinetics-skeleton 等...
posec3D训练自己的模型
重剑无锋博客
03-15 1284
我们这里修改为load-from。
poseC3D代码结构
waiyayaya的博客
11-10 1491
复现代码
基于pyskl的poseC3D训练自己的数据集
热门推荐
qq_33047753的博客
05-23 2万+
基于骨骼点的视频目标识别
Altium designer 最全的3D模型库
10-25
3D模型库是Altium Designer的重要组成部分，对于现代电子设计来说，3D视角在PCB设计中的作用不可忽视。 在Altium Designer中，3D模型库提供了各种电子元器件的真实三维形状，这些模型有助于设计师在布局阶段就考虑...
java 加载3d模型_实现在Java 3D中载入外部3D模型文件方法详解
weixin_28941265的博客
02-19 1万+
Java 3D虽然能支持众多的外部3D模型文件，但能支持被Java 3D使用的外部模型文件仅为.obj和.lwd两种；分别对应ObjectFile类和Lw3dLoader类。相比之下几款主流的3D建模软件都能生成.obj格式的文件，因此本文主要介绍使用ObjectFile类载入.obj文件的方法。ObjectFile类有三个构造方法，分别为：ObjectFile()ObjectFile(int f...
ply 3D模型
12-14
PLY格式由斯坦福大学开发，主要目的是为了方便地交换3D模型数据，支持多种属性，如颜色、纹理坐标等。本话题将深入探讨PLY文件以及与之相关的3D建模知识。 首先，3D模型是数字形式表示的三维物体，由一系列多边形...
Pose-guided-action-recognition:使用人的姿势信息来帮助动作识别，并在pytorch中实现了注意力集中方法，C3D方法和两流体系结构的探索
05-14
姿势引导动作识别枪 这是一项探索使用人体姿势信息来帮助识别动作的工作。 有关完整的报告，请检查。 实施了三种不同的模型： 注意池方法（使用ResNet101主干） C3D方法 二流法 人类的姿势信息会有助于动作识别吗 首先，我们探讨了使用人体姿势信息是否有助于动作识别任务。 姿势信息是通过在C3D体系结构中使用蒙版信息削弱背景来应用的，并通过注意力集中方法将关节位置的热图直接添加到自上而下的注意力中。 两种方法的结果都显示出人体姿势信息略有改善： 在C3D架构中有无姿势信息： 注意池体系结构中是否包含姿势信息： 在动作识别中正确使用姿势信息 由于人体姿势信息确实有助于动作识别，因此我们需要找出使用姿势信息的正确方法。 我们修改了两个流的体系结构，并用VGG16代替了光流，直觉是，通过使用VGG16，我们可以使用在ImageNet上预先训练的网络，而不是使用从头开始训练整个光
matlab匹配滤波代码-pose3d:3D重构工具箱，用于通过多台摄像机跟踪行为
05-24
matlab匹配滤波代码3D重构工具箱，用于通过多台摄像机跟踪行为 什么是pose3d？ pose3d是在Matlab（马萨诸塞州纳蒂克的MathWorks Inc.）中实现的，用于使用DeepLabCut（DLC）或任何其他跟踪软件对2D跟踪的特征进行3D重建。 它提供了一个半自动化的3D重建工作流程，可指导用户完成相机校准，不失真，三角剖分以及诸如滤波等处理后步骤的工作，以减少异常值。 除了提供易于使用的工作流程外，我们实施中的关键组件是“ n”相机三角剖分功能，该功能使用户可以使用自动选择标准或最佳选择，从每个功能和时间点的最佳相机对中选择2D跟踪数据。使用所有摄像机的数据进行3D重建。 目录 为什么要pose3d？ 对于在不同环境中的许多物种进行的行为研究，无标记跟踪是一项至关重要的实验要求。 最近开发的工具箱利用基于人工神经网络（ANN）的计算机视觉，为科学实验提供了精确的无标记跟踪功能。 为了跟踪复杂的行为，例如图1中所示的3D中与对象交互的抓取，必须开发具有多个摄像机的实验装置。 此类系统的开发可在很大程度上受益于强大且易于使用的相机校准和3D重建工具箱。 为此，我们在M
DRPose3D：3D人体姿势估计中的深度排名
03-25
在本文中，我们提出了一种基于两阶段深度排名的方法（DRPose3D），以解决3D人体姿势估计问题。 代替精确的3D位置，深度排名可以由人类直观地识别，并且可以通过解决分类问题更容易地使用深度神经网络来学习。 此外，深度排名包含丰富的3D信息。 它可以防止两阶段方法中的2D到3D姿态回归不适定。 在我们的方法中，首先，我们设计了成对排名卷积神经网络（PRCNN），以从图像中提取人体关节的深度排名。 其次，提出了从粗到细的3D姿势网络（DPNet），以根据深度等级和2D人体关节位置来估计3D姿势。 另外，为了提高模型的通用性，我们引入了一种统计方法来增加深度排名。 对于所有三种测试协议，我们的方法均优于Human3.6M基准测试中的最新方法，这表明深度排序是一项基本的几何特征，可以学习以改进3D姿态估计。
使用PoseC3D方法训练自己的数据集（一）
m0_59670748的博客
06-08 1053
输入的数据主要包含两部分，以“split”为关键字的字典和以“annotation”为关键字的字典，其中split还有两个子键，分别是“xsub_train”和“xsub_val”，“xsub_train”对应的值为训练集的视频名称列表，同理“xsub_val”对应的值为验证集的视频名称列表。
骨骼识别-复现PoseC3D
m0_63642362的博客
05-26 7432
转自AI Studio，原文链接：​​​​​​骨骼点动作识别-基于Paddle复现PoseC3D - 飞桨AI Studio Revisiting Skeleton-based Action Recognition（PoseC3D 基于Paddle复现） 1.简介 人体骨架作为人类行为的一种简洁的表现形式，近年来受到越来越多的关注。许多基于骨架的动作识别方法都采用了图卷积网络（GCN）来提取人体骨架上的特征。尽管在以前的工作中取得了积极的成果，但基于GCN的方法在健壮性、互操作性和可扩展性方面受到限制
MMAction2使用PoseC3d训练自己的数据集（数据集构建+训练）
lcrdadas的博客
11-28 3089
MMAction2官方给的基于骨骼点的动作识别数据集构建代码ntu_pose_extraction.py及其数据集构建过程说的比较简单，并且没有给出多个pickle文件合并的代码，这里为了方便，贴出这个代码。
windows安装MMDetection 及基于pyskl的PoseC3D训练
m0_63977857的博客
10-14 2192
因为要跑PoseC3D，训练自己的数据集，需要安装MMDetection，不得不说真的好难安装啊，写一下自己踩的坑。先说一下我安装的版本，python==3.8，pytorch==3.8.1，mmcv=1.4.0，mmcv-full==1.4.0，mmdet==2.23.0,mmpose==0.28.1。
linux下 pyskl环境（PoseConv3D）的配置--从零开始的保姆级教程
sprouting_99的博客
10-20 2671
我这里选用https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2022.05-Linux-x86_64.sh的anaconda。选用最PoseConv3D以及数据集light_gym，打开pyskl/configs/posec3d/c3d_light_gym/joint.py。另外，如果安装poseval失败，参考以上博文使用其他方法安装后还要把requirements.txt里的poseval这一项删除，重新运行一次。
pyskl：hrnet+fastercnn+c3d
qq_41106932的博客
11-04 1017
热图输出一共十七个关键点，每一个关键点一个channel，格式为（C，T，H，W）(N为设置的batch_size数32，T为设置的clip_len为32，即随机抽取32帧，H,W设置为56)，即（32，17，32，56，56）.Input：NCHW(17,32,56,56),(17个通道数，32帧，56x56的大小)，C3D训练使用3个stage，base_channel为32。对视频抽帧（使用decoder对视频进行均匀抽帧），检测视频帧中的人物，根据视频帧中的人物进行人体关键关键点的检测。
PoseC3d网络检测准确率低
最新发布
07-29
PoseC3d是一个专为三维人体姿态估计设计的深度学习模型，它结合了深度卷积神经网络（CNN）和三维空间编码（C3D）。然而，如果该网络的检测准确率较低，可能有以下几个原因： 1. **模型过拟合或欠拟合**：如果训练数据不足或者模型结构过于复杂，可能会导致过拟合，即在训练数据上表现良好但在测试集上效果差；反之，如果模型太简单，则可能欠拟合，无法捕捉到复杂的姿势变化。 2. **数据质量问题**：训练样本中关键点标注不准确、姿势多样性不足或光照、遮挡等因素干扰，都会影响网络学习到准确的姿势表示。 3. **特征提取问题**：PoseC3d依赖于有效的特征提取来理解复杂的三维运动模式。如果网络未能学习到足够的运动特征，或者特征选择不合适，可能会导致准确率下降。 4. **时间尺度处理不当**：C3D部分可能对动作的时间维度处理不够理想，如果视频帧率设置不合理或帧间关联处理不到位，会影响模型对连续动作的捕捉。 5. **超参数调优不足**：学习率、批量大小、优化器选择等都对模型性能有很大影响。如果这些设置不合适，可能会影响模型的学习效率和收敛。 为提高PoseC3d的检测准确率，可以尝试以下策略： - 使用更大规模、更高质量的数据集进行训练； - 调整网络结构、增加层数或改变时间步长； - 优化超参数，如调整优化器和学习率； - 可能的话，引入正则化方法防止过拟合； - 对关键点进行增强或者进行预处理，如归一化或规范化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值