ST-GCN训练自己的数据集代码实践问题记录

最新推荐文章于 2024-08-16 09:12:47 发布
置顶 最新推荐文章于 2024-08-16 09:12:47 发布
阅读量5k 收藏 82
点赞数 12
分类专栏： 计算机视觉cv 文章标签： 深度学习 python st_gcn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41542989/article/details/118975941
版权

文章目录

1. 下载代码和安装相应的环境

【文末提供论文下载地址】
首先从open-mmalb/mmskeleton下载代码，然后在mmskeleton/doc/GETTING_STARTED.md中可以找到环境的安装步骤，主要是pytorch，python和cuda的版本一定要对上，可以参考我的另外一篇文章torch- torchvision- python版本对应关系和pytorch官网
在这里插入图片描述

2. 构建数据集

在这里我是自己构建的数据集，我将会就自己的过程进行总结。
首先官方文档mmskeleton/doc/CUSTOM_DATASET.md中给出了大概步骤，主要是对configs/utils/build_dataset_badminton.yaml，resource/category_annotation_example.json，mmskeleton/processor/skeleton_dataset.py进行了修改

2.1 configs/utils/build_dataset_example.yaml

在这里插入图片描述
video_dir 是指需要处理的动过识别片段
out_dir是指经过检测和姿态识别之后的输出路径
category_annotation是指视频和动作的关系对照

2.2 resource/category_annotation_example.json

在这里需要把需要识别的动作准备好，并且每个视频对应的标签都弄好
在这里插入图片描述

2.3 mmskeleton/processor/skeleton_dataset.py

在这个文件中，主要是build函数，主要实现了对原视频的处理以及骨架数据的保存过程

在这里插入图片描述

上图是build函数的内部处理最关键的部分，这个for循环是主要修改的部分，因为我们自己创建数据集的时候，原始图片路径，目标数据路径，视频的标签关系和保存格式等等都可以在这个for循环里面进行修改。

3. 训练数据集

执行语句：mmskl configs/recognition/st_gcn/dataset_example/train.yaml
修改通道是数目（2D为3，3D为4）,动作类别的数目，数据的目录，选取的最大置信度人的个数，关键点个数和训练过程中的日志文件、最后训练好的模型保存地址
（文件位置configs/recognition/st_gcn/dataset_example/train.yaml）

3.1 我是用的是2D数据，所以in_channels是3，同时类别数是13
在这里插入图片描述

3.2 data_dir是第二步准备数据集的时候，最好保存号的数据集目录，num_track是一帧中选取置信度最高的两个人的意思，num_keypoints是骨架的关键点数目，这个根据具体情况而定，我是按论文中的算法来的，所以还是17个关键点（要改两处地方，下面两张图）

在这里插入图片描述
在这里插入图片描述

3.3 最后日志文件和训练号的模型文件保存地址（可以自己更改），total_epochs是全部的训练批次
在这里插入图片描述

4. 测试数据集

执行语句：mmskl configs/recognition/st_gcn/dataset_example/test.yaml --checkpoint work_dir/recognition/st_gcn/[path of pth]/latest.pth

上面语句的最后[path of pth]是在3.3中设置的模型文件保存地址，下面是要修改的地方（文件位置configs/recognition/st_gcn/dataset_example/test.yaml）
在这里插入图片描述
data_dir是指要测试的数据集位置，其实之前都已经提过，就不再介绍了。
在这里插入图片描述

5. 相关文章

  1. https://zhoef.com/2019/08/24/14_ST-Gcn/
  2. https://zhoef.com/2019/08/11/8_Pytorch_BatchNorm/
  3. https://www.zhihu.com/question/276101856/answer/638672980
  4. https://www.zhihu.com/question/54504471/answer/611222866
  5. https://mp.weixin.qq.com/s/sg9O761F0KHAmCPOfMW_kQ
  6. https://blog.csdn.net/moxibingdao/article/details/118005606
  7. https://blog.csdn.net/moxibingdao/article/details/107329002
  8. https://www.sohu.com/a/256622345_715754
  9. https://www.zhihu.com/question/54504471
  10. https://blog.csdn.net/weixin_51450749/article/details/111768242
  11. https://www.sohu.com/a/359058988_129720
  12. https://blog.csdn.net/Cheungleilei/article/details/106732746
  13. https://blog.csdn.net/qq_43019451/article/details/118787580

以上是我在学习ST_GCN看的一些文章，非常感谢他们的帮助，如果现在阅读的您有需要也可以看看。

论文地址：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action.pdf

小Aer
关注
专栏目录
ST-GCN训练自建数据集
weixin_48159023的博客
11-29 9721
参考了许多博文，慢慢地也就把st-gcn跑出来了，参考的文章一会附在文章里面，实测有用。 1.安装st-gcn 复现STGCN CPU版 （ubuntu16.04+pytorch0.4.0+openpose+caffe）_Significance的博客-CSDN博客​​​​​​复现旧版STGCN GPU版 （win10+openpose1.5.0）_Significance的博客-CSDN博客2 2.准备训练数据集 官方使用的是Kinetics-skeleton和NTU RGB+D两个数据集来训练网
基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目
08-11
基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目 基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目 基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目 基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目 基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目基于时空图卷积（ST-GCN）的骨骼动作识别（python源码+项目说明）高分项目基于时空图卷积（ST
如何创建并训练异构图GCN神经网络(以论文引用数据集为例)
weixin_67482129的博客
10-23 1686
注意一下边的构造形式，以data['paper', 'cites', 'paper'].edge_index为例，在描述paper到paper的边的时候，要按照“起始点”——“边的名称”——“终点”的格式传入。很明显，上面的例子里创建的GNN模型是一个同构图模型。注意，此时输入的不是data[‘...’].x等，而是把所有种类的节点信息全部按照字典的形式输入，所以x的输入是用.x_dict，同理，边的信息也是用的..._dict的形式。相互之间的关系也分为：具有主题，引用，撰写，隶属XX机构。
MMSkeleton 开源项目教程
最新发布
gitblog_00261的博客
08-16 726
MMSkeleton 开源项目教程 mmskeletonA OpenMMLAB toolbox for human pose estimation, skeleton-based action recognition, and action synthesis.项目地址:https://gitcode.com/gh_mirrors/mm/mmskeleton 1. 项目的目录结构及介绍 MMS...
图卷积网络GCN
chen的博客
03-05 1160
图卷积网络（Graph Convolutional Network，GCN）是一种深度学习模型，专门用于处理图结构数据，如社交网络、推荐系统中的用户-物品关系等。GCN 可以学习节点在图中的表示，并利用这些表示进行节点分类、链接预测等任务。它的核心思想是通过卷积操作在图结构上进行信息传递和聚合，从而捕捉节点之间的关系和特征。推荐阅读文章。
用st-gcn训练自己的数据集
weixin_52811483的博客
03-23 7511
使用自己的数据集训练st-gcn的流程 1.数据集 数据集要求将相同类别的视频放到同一文件夹 2.脚本运行demo_old 将文件夹下所有视频转为json格式 import os dataSet_path = 'D:/dataSet/training_lib_KTH'#修改 for classes in os.listdir(dataSet_path): classes_path = os.path.join(dataSet_path, classes) if os.path.isd
st-gcn训练自建数据集踩过的坑
weixin_48228856的博客
09-13 2892
跑通了自己的数据集，top1是80%
st-gcn训练自建行为识别数据集时遇到的问题
weixin_43772413的博客
08-16 224
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 525: illegal multibyte sequence
st-gcn训练自建行为识别数据集
热门推荐
动力中原
07-16 1万+
st-gcn训练自建行为识别数据集代码下载与环境配置准备行为数据 代码下载与环境配置 首先参照下面的命令，下载st-gcn算法的训练代码，配置环境。 git clone https://github.com/yysijie/st-gcn.git cd st-gcn pip install -r requirements.txt cd torchlight python setup.py install cd .. 准备行为数据 训练之前，需要根据kinetics-skleton数据集的格式，提取自建数据集
用自建kinetics-skeleton行为识别数据集训练st-gcn网络流程记录
Lujiahao98689的博客
11-20 1万+
用自建kinetics-skeleton数据集训练st-gcn网络流程记录0. 准备工作1. 下载/裁剪视频2. 利用OpenPose提取骨骼点数据,制作kinetics-skeleton数据集3. 训练st-gcn网络4. 用自己训练的st-gcn网络跑demo，并可视化 0. 准备工作 首先就是把st-gcn网络的运行环境完全配置好了，并且可以正常进行行为识别 配置环境参考： 1. 复现旧版STGCN GPU版 （win10+openpose1.5.0） 2. 复现st-gcn(win10+openpo
mmskeleton windows安装（mmdetection）及ST-GCN测试和训练
weixin_43390800的博客
11-30 5304
首先安装mmdetection2：教程 环境： OS: Win10 VS: 2015 mmdetection: 2.1.0 mmcv：0.6.0 torch=1.3.1 torchvision=0.4.2 python：3.7.9 cuda:10.1 一、Pytorch环境安装 创建虚拟环境： conda create -n mmd python=3.7 conda activate mmd conda install pytorch=1.3 torchvision cudatoolkit=10.1 -c
ST-GCN基于图卷积的行为识别修改模型文件
10-28
ST-GCN官方代码模型，下载后有误，在github上找到的修改版模型，实测可以使用，测试结果与论文中基本一致
Human-Falling-Detect-Tracks:AlphaPose + ST-GCN + SORT
04-14
人体跌倒检测与追踪 使用Tiny-YOLO oneclass检测帧中的每个人，并使用获取骨骼姿势，然后使用模型从每个人跟踪的每30帧中预测动作。 现在支持7种动作：站立，行走，坐着，躺下，站起来，坐下，跌倒。 先决条件 Python> 3.6 火炬> 1.3.1 原始测试运行在：i7-8750H CPU @ 2.20GHz x12，GeForce RTX 2070 8GB，CUDA 10.2 数据 该项目已经训练了一个新的Tiny-YOLO oneclass模型，以仅检测人的物体并减小模型的大小。 使用旋转增强的人员关键点数据集进行训练，以在各种角度姿势中更可靠地检测人员。 对于动作识别，使用来自跌倒检测数据集（，家庭）的数据，通过AlphaPose提取骨骼姿势，并手动标记每个动作帧，以训练ST-GCN模型。 预训练模型 Tiny-YOLO oneclass- ， SPPE
挥拳动作OpenCV识别
05-22
OPENCV动作识别--挥拳动作识别，OpenCV3.0版本，VS2012完美运行。
HRNet训练自己的数据集
08-31
- *1* *2* [HRNet提取骨架特征点+ ST-GCN训练自己的数据集代码实践问题记录](https://blog.csdn.net/Cheungleilei/article/details/106732746)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
hrnet训练自己的数据集
08-18
- *1* *3* [HRNet提取骨架特征点+ ST-GCN训练自己的数据集代码实践问题记录](https://blog.csdn.net/Cheungleilei/article/details/106732746)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
大规模CAD绘图数据集：FloorPlan-CAD，用于全景符号定位的矢量图形数据集
10128†楼层平面CAD：用于全景符号定位的大规模CAD绘图数据集范志文1朱凌杰1李宏华1陈晓浩1朱思宇1谭平1，21阿里巴巴人工智能实验2西蒙弗雷泽大学†同等贡献摘要获取大量不同的计算机辅助设计（CAD）图纸对于开发...
ST-GCN
Tc、zyh的博客
05-15 1332
ST-GCN Introduction This repository holds the codebase, dataset and models for the paper: 此存储库包含论文的代码库、数据集和模型 Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition Sijie Yan, Yuanjun Xiong and Dahua Lin, AAAI 2018. [Arxiv Prep
评论 72
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小Aer

走过路过给个赏钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值