行为识别系列:win11系统AVA2.1数据集制作、训练、测试、本地视频验证(完整已跑通)

本文详细介绍了如何在Windows11系统下利用MMaction2框架和YOLOv5、DeepSort等技术制作自定义ava数据集,并进行SlowFast网络的训练和测试。涵盖了环境配置、视频处理、标注生成、模型训练与测试的全过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

写在前面:

本文参照杨帆老师的博客,根据自己的需要进行制作,杨帆老师博客原文链接如下:

自定义ava数据集及训练与测试 完整版 时空动作/行为 视频数据集制作 yolov5, deep sort, VIA MMAction, SlowFast-CSDN博客文章浏览阅读2.2w次,点赞31次,收藏165次。前言这一篇博客应该是我花时间最多的一次了,从2022年1月底至2022年4月底。我已经将这篇博客的内容写为论文,上传至arxiv:https://arxiv.org/pdf/2204.10160.pdf欢迎大家指出我论文中的问题,特别是语法与用词问题在github上,我也上传了完整的项目:https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset关于自定义ava数据集,也是后台_ava数据集https://blog.csdn.net/WhiffeYF/article/details/124358725

一、环境准备

1、数据集制作环境

conda create -n your-env-name python=3.8 -y
conda activate your-env-name

数据集制作环境只需要YOLOv5和torch,下面命令是安装cuda11.1版本的torch的torchvision。

pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 -f https://download.pytorch.org/whl/torch_stable.html
pip install opencv-python-headless==4.1.2.30

提前下载好YOLOv5源码,cd到YOLOv5根目录,使用如下命令安装YOLOv5的依赖。

pip install -r requirements.txt

2、训练环境

训练环境本文严格依照MMaction2框架的安装环境,如有需要可参考如下链接:

安装 — MMAction2 1.2.0 文档icon-default.png?t=N7T8https://mmaction2.readthedocs.io/zh-cn/latest/get_started/installation.html

2.1创建训练环境

conda create -n your-env-name python=3.8 -y
conda activate your-env-name

 2.2安装Pytorch和对应版本的torchvision

pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 -f https://download.pytorch.org/whl/torch_stable.html

2.3安装MMaction2依赖(使用mim安装命令)

使用mim命令可以自动解决版本问题

pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet
mim install mmpose

2.4从源码构建MMaction2

git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e .

2.5验证安装

请参考其他博客,进行MMaction2的安装验证

Win11系统下使用SlowFast训练AVA数据集-CSDN博客文章浏览阅读237次。本文主要讲述如何在Win11系统使用MMaction2框架下SlowFast网络进行AVA数据集的训练。

自定义时空动作/行为视频数据集制作过程需要以下步骤: 1. 数据收集:收集与目标动作/行为相关的视频片段。可以过在公共视频平台上搜索相关关键词,或者使用摄像头拍摄自己感兴趣的动作/行为。确保视频片段的质量和多样性。 2. 数据预处理:对收集到的视频进行预处理,包括视频剪辑、格式转换和标注。选择关键帧或者将视频切割成短小的视频片段,并将其转换成计算机可读取的格式(如mp4)。同时,根据视频内容对每个视频片段进行标注,标注目标动作/行为的位置和类别。 3. 数据标注:使用标注工具(如LabelImg)对每个视频片段进行标注。过框选或者用关键点标记目标动作/行为的起始点和终止点,以形成标注数据。 4. 数据划分:将整个数据集分成训练集和测试集。常,将80%的数据作为训练集,20%的数据作为测试集。确保训练集和测试集的数据分布均匀,避免数据集不平衡的问题。 5. 数据增强:对训练集进行数据增强,以提高模型的泛化能力。可以使用图像处理技术如平移、旋转、缩放等进行图像增强,也可以使用视频处理技术如帧采样、速度调整等进行视频增强。 6. 模型训练:选择合适的深度学习模型(如YOLOv5、Deep等),使用训练集对模型进行训练。在训练过程中,将训练集输入到模型中,过最小化损失函数来优化模型参数,使其能够准确地检测时空动作/行为。 7. 模型评估:使用测试集对训练好的模型进行评估。将测试集输入到模型中,计算模型的精确度、召回率等评价指标,以评估模型的性能。 8. 模型优化:根据评估结果,对模型进行优化。可以调整模型的超参数,增加训练集的规模,或者增加训练轮数等,以进一步提高模型的性能。 过以上步骤,就可以完成自定义的时空动作/行为视频数据集制作,并使用YOLOv5、Deep等深度学习模型进行训练测试。这样训练出来的模型可以用于检测和识别视频中的时空动作/行为。
评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值