使用UCF101完成的视频动作分类识别

已于 2023-05-07 10:10:23 修改
阅读量2.7k 收藏 16
点赞数 5
分类专栏： 人工智能实战 文章标签： Conv3D 深度学习 UCF101 人体动作识别 CRNN
于 2023-05-05 22:18:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45732909/article/details/130509201
版权

文章目录

前言

最近在研究使用UCF101数据集来训练出一个视频动作分类的神经网络。之前因为自己花了1.5w组了台台式就可以轻松跑深度学习，没想到果然是初生牛犊不怕虎，体验过才知道原来是这么吃GPU的…

提示：以下是本篇文章正文内容，下面我的案例可供参考

一、UCF101数据集简述及下载

    UCF101是一个常用的视频分类数据集，包含101个不同的动作类别。每个类别包含大约100到300段视频片段，总共约有13,000个视频片段。这些视频片段来自YouTube上的真实数据，每个视频片段的长度为大约10秒至30秒不等，分辨率为320x240或640x480。UCF101的目的是为了促进计算机视觉和机器学习领域中的行动识别研究。

    把UCF101里的视频全部切分成RGB图像就如下图所示了，本来我整理好放到阿里网盘的，但是发现阿里网盘目前不支持分享zip文件，那只好把切分好的全部RGB图像合包放到百度网盘了（无奈）。并且我进行了以3GB为大小的分包，但是用autoDL控制上传死活上传不到百度网盘，报错文件上传失败upload canceled，后面用自己电脑上传成功了。

链接: https://pan.baidu.com/s/1e13XBc5-sl4M4-s7ecYp-Q 提取码: ir6x

下载完后，windows就直接在同一个文件夹下解压即可，linux下先使用cat zip.* > jpegs_256.zip，接着解压就行。

二、使用Conv3D来处理

项目代码链接

0. 装好各种包

在终端下运行：

pip install numpy
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/cu111/torch_stable.html
pip install matplotlib==3.4.3
pip install scikit-learn==1.1.3

functions.py包含自定义的类库，各种工具函数。

1. 修改main.ipynb的path路径代码，然后运行main.ipynb的全部代码

# set path
# data_path为切割好的全部RGB图像目录路径
#data_path = "./jpegs_256/"    # define UCF-101 RGB data path
data_path = "../temp/jpegs_256/"
action_name_path = './UCF101actions.pkl' #全部动作的名字标签
save_model_path = "./CRNN_ckpt/" #模型参数存放路径
#fnames = os.listdir(data_path)
#fnames

    接着运行main.ipynb的全部代码即可，功能主要为完成epochs=15轮的迭代，保存每一轮的神经网络各层的参数pth，并且保存各轮的损失率loss和准确率score。最后绘制折线图，绘制以训练时期为横坐标、纵坐标分别为损失值和准确率为的两个折线图。
在这里插入图片描述

2. 修改prediction.ipynb的path路径代码，然后运行prediction.ipynb的全部代码

接下来使用UCF101的视频作为预测对象，扔进模型进行预测。

# set path
# data_path为预测的视频切割后的RGB图像目录路径
#data_path = "./jpegs_256/"    # define UCF-101 RGB data path
data_path = "../temp/jpegs_256/"
action_name_path = './UCF101actions.pkl' #全部动作的名字标签
save_model_path = "./CRNN_ckpt/" #将要使用的模型参数存放路径
#fnames = os.listdir(data_path)
#fnames

然后跑完prediction.ipynb的全部代码，会生成包含真实动作名称和预测动作名称文件UCF101_videos_prediction.pkl，用于接下来的结果可视化处理。

3. 运行check_video_predictions.ipynb代码

会提供所有真实标签和预测标签的结果表
在这里插入图片描述
并且会给出最后最后的预测准确率Accuracy。
在这里插入图片描述

4. 模型训练好后，可以使用replot_score_loss.ipynb来进行绘图

    可以使用迭代中产生的tran和test的损失率和准确率绘制折线图，效果同1的效果。
并且可以找出最准确的模型迭代编号，比如下图为编号14。也就准确率最高的迭代编号为14（3dcnn_epoch14、优化器参数3dcnn_optimizer_epoch14），那就可以使用第14号的pth文件来完成预测，效果我相信会不错，不过Conv3D还不是很给力，至少我训练的结果测试的结果才43%多而已，也可能是迭代次数只有15次的缘故（）
在这里插入图片描述

5. 我跑此项目的情况

硬件配置如下，数据盘跑的时候给到的是100GB：
在这里插入图片描述
所花时间（从尾减去头的那段时间段）和GPU的占用率如下：
在这里插入图片描述

三、使用CRNN来处理

项目代码链接

0. 装好各种包

和上面的包情况一致。

1. 修改main.ipynb的path路径代码，然后运行main.ipynb的全部代码

# set path
# data_path为切割好的全部RGB图像目录路径
#data_path = "./jpegs_256/"    # define UCF-101 RGB data path
data_path = "../temp/jpegs_256/"
action_name_path = './UCF101actions.pkl' #全部动作的名字标签
save_model_path = "./CRNN_ckpt/" #模型参数存放路径
#fnames = os.listdir(data_path)
#fnames

    接着运行main.ipynb的全部代码即可，功能主要为完成epochs=15轮的迭代，保存每一轮的神经网络各层的参数pth，并且保存各轮的损失率loss和准确率score。最后绘制折线图，绘制以训练时期为横坐标、纵坐标分别为损失值和准确率为的两个折线图。
在这里插入图片描述

2. 修改prediction.ipynb的path路径代码，然后运行prediction.ipynb的全部代码

接下来使用UCF101的视频作为预测对象，扔进模型进行预测。

# set path
# data_path为预测的视频切割后的RGB图像目录路径
#data_path = "./jpegs_256/"    # define UCF-101 RGB data path
data_path = "../temp/jpegs_256/"
action_name_path = './UCF101actions.pkl' #全部动作的名字标签
save_model_path = "./CRNN_ckpt/" #将要使用的模型参数存放路径
#fnames = os.listdir(data_path)
#fnames

然后跑完prediction.ipynb的全部代码，会生成包含真实动作名称和预测动作名称文件UCF101_videos_prediction.pkl，用于接下来的结果可视化处理。
在这里插入图片描述

3. 运行check_video_predictions.ipynb代码

会提供所有真实标签和预测标签的结果表
在这里插入图片描述

并且会给出最后最后的预测准确率Accuracy。
在这里插入图片描述

4. 模型训练好后，可以使用replot_score_loss.ipynb来进行绘图

    可以使用迭代中产生的tran和test的损失率和准确率绘制折线图，效果同1的效果。
并且可以找出最准确的模型迭代编号，比如下图为编号93。也就准确率最高的迭代编号为93），那就可以使用第93号的pth文件来完成预测，效果我相信会不错，CRNN还是行的，我训练的结果测试的结果是66.34%，迭代次数为120。训练CRNN训练了好久，也花了不少钱。
在这里插入图片描述

5. 我训练此CRNN的情况

硬件配置如下，数据盘跑的时候给到的是100GB：
在这里插入图片描述

所花时间（从尾减去头的那段时间段）和GPU的占用率如下：
在这里插入图片描述

重剑DS
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程-python
06-18
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程 视频分类 该存储库使用 UCF101 和 PyTorch 为视频分类（或动作识别）构建了一个快速而简单的代码。 视频被视为一个 3D 图像或几个连续的 2D 图像（图 1）。 下面是两个简单的神经网络模型：数据集 UCF101 共有来自 101 个动作的 13,320 个视频。 视频具有不同的时间长度（帧）和不同的 2d 图像大小； 最短的是28帧。 为了避免像 OpenCV 或 FFmpeg 这样的帧提取和转换等痛苦的视频预处理，这里我直接使用了来自 feichtenhofer 的预处理数据集。 如果您想从头开始转换或提取视频帧，这里有一些不错的教程：https://pythonprogramming.net/loading-video-python-opencv-tutorial/ https://www.pyimagesearch.com/2017/02/ 06/faster-video-file-fps-with-cv2-videocapture-and-opencv/ 模型 1. 3
TSN实验过程
qq_41845951的博客
08-15 1438
前言 本文主要是为了复刻TSN论文中的实验，使用的是UCF101数据集。 1.数据集及源码准备 1.1数据集介绍 在视频分类项目中，有很多经典的公开数据集，目前主要的数据集如列表所示： UCF101是动作识别数据集，从Youtube收集而得，共包含101类动作。其中每类动作由25个人做动作，每人做4-7组，共13320个视频，分辨率为320*240。UCF101在动作的采集上具有非常大的多样性，包括相机运行、外观变化、姿态变化、物体比例变化、背景变化、光纤变化等。 主要结构为 ...
目标检测——UCF50动作识别数据集
最新发布
猫脸码客的博客
05-19 736
UCF50数据集是由中佛罗里达大学（University of Central Florida）的研究人员发布的，旨在为动作识别领域的研究提供高质量的视频数据。该数据集由来自YouTube的真实视频组成，包含了50个不同的动作类别，涵盖了体育、日常活动、模仿动作等多个方面。每个动作类别都有足够的视频样本，以确保模型训练的准确性和泛化能力。
我的AI之路(52)--如何制作自己的UCF101数据集
XCCCCZ的博客
11-28 3904
前面说过如何用自己的UCF101数据集训练3D识别模型video-caffe，那么怎么制作自己的UCF101数据集呢？这个稍微有点复杂。 UCF101数据集其实是按101个动作类别分类了的短视频的集合，每类动作对应一个目录，每个目录下有很多avi格式的视频文件，我们需要制作自己的项目应用领域的UCF101格式的数据集时，可以像这样把项目应用的视频数据按动作分类这样分目录存放，一个目录对应一个动作，实际项目中一般不会有101种动作，比如有三种或者四种动作，那么对应就按三个或四个目录存...
01【C3D 行为识别】项目下载 环境配置 数据集转化视频帧 UCF101数据集处理
CSPhD-winston的博客
09-30 7136
目录一，UCF101 数据集二，环境的快速搭建三，提取帧 一，UCF101 数据集 这个数据集在极链AI云平台已经准备好了（我们直接调用就可以了）： 通过数据集创建实例 选一个最便宜的GPU，反正我们最后要用自己定义的数据集 选择镜像版本 看看详情，再点击创建实例 点击Jupyter Lab Jupyter Lab界面如下： 点击进入/datasets/UCF101/ UCF101文件夹下： ├── UCF101_Action_detection_splits ├── UCF101_vid
UCF101下载链接.docx
12-01
UCF101数据集，完整版，网盘分享。
UCF-101视频数据分类资源
weixin_40162095的博客
12-28 3200
自己将要做这个项目，文章集锦 https://www.jianshu.com/p/cd4500041acf?isappinstalled=0
UCF101 数据集介绍与下载
牧子川的博客
01-10 1728
UCF101 是一个现实动作视频的动作识别数据集，收集自YouTube，提供了来自101个动作类别的13320个视频。官方：https://www.crcv.ucf.edu/research/data-sets/ucf101/数据集名称：UCF-101（2012）总视频数：13,320个视频总时长：27个小时视频来源：YouTube采集视频类别：101。
UCF-101 完整版数据集 阿里云下载链接
weixin_62643283的博客
03-06 1492
UCF-101完整数据集阿里云下载链接
UCF101动作识别数据集简介绍及数据预处理
热门推荐
无名的小菜鸡
05-23 2万+
文章目录一、数据集简介：二、数据集获取及解压缩：1. 数据下载2. 数据集解压缩：三、数据集划分四、数据集预处理1. 生成pkl文件2. 直接对视频文件处理 一、数据集简介： UCF101是一个现实动作视频的动作识别数据集，收集自YouTube，提供了来自101个动作类别的13320个视频。官方网站：https://www.crcv.ucf.edu/research/data-sets/ucf101/ 数据集名称：UCF-101（2012） 总视频数：13,320个视频 总时长：27个小时 视频来源：Yo
视频分类|使用3D CNN或C3D模型在UCF101数据集上进行视频分类任务。
sybh的博客
04-24 754
3D CNN模型期望的输入形状是（batch_size，num_frames，height，width，channels），其中batch_size是批大小，num_frames是帧数，height是图像高度，width是图像宽度，channels是图像通道数。最后，我们添加一个全连接层，该层的输出使用softmax激活函数，将模型输出映射到每个类别的概率分布。在这篇博客中，我们将介绍如何使用Python和深度学习框架Keras来实现视频分类，我们将使用3D CNN模型在UCF101数据集上进行分类任务。
数据集UCF101 + CRNN模型 + 模型预测结果
05-06
使用UCF101完成的视频动作分类识别，使用CRNN模型完成，迭代次数为120，花了很多时间和钱（），不过因为模型参数pth太大了，CSDN放不下，需要再私聊吧
精简版的UCF101数据集
03-26
精简版的UCF101数据集
C3D行为识别（一）：UCF101视频数据集预处理
qq_22003061的博客
05-11 5661
行为识别（一）：视频数据集预处理 文章目录行为识别（一）：视频数据集预处理1 数据集介绍1.1 UCF1012 UCF101预处理2.1 划分train_set和test_set2.2 将视频提取为图像 1 数据集介绍 基于视频的行为识别常见的数据库有UCF101、HMDB-51、Something-Something V2、AVA v2.2、Kinetic-700等。其中UCF101的标记方式是针对一段视频做一个类别的标记，AVA v2.2的标记共包含五个部分，video_id（视频名称）、middle_
深度学习视频数据集（动作识别）：UCF-101
米之炼金术师的博客
06-30 1万+
UCF-101 官网：https://www.crcv.ucf.edu/research/data-sets/ucf101/ 网盘：链接：https://pan.baidu.com/s/1RsJuykWyUlQ4_c1TwqxR_Q 提取码：909g 官方解释 UCF101是一个现实动作视频的动作识别数据集，收集自YouTube，提供了来自101个动作类别的13320个视频。 该数据集是UCF50数据集的扩展，UCF50数据集有50个动作类别。 UCF101在动作方面提供了最大的多样性，并且在摄像机运动、对
使用MMAction2处理UCF-101数据集
qq_39423298的博客
06-16 934
使用MMAction2处理UCF-101数据集
Tensorflow 2.0 视频分类(二) UCF-101数据集预处理
Forrest97的博客
05-14 3804
关于UCF-101介绍请参看： 数据下载 下载路径：http://crcv.ucf.edu/data/UCF101/UCF101.rar 解压后就是分类数据集的标准目录格式，二级目录名为人类活动类别，二级目录下就是对应的视频数据。每个视频长度为4s，大小320*240， 帧率25HZ 需要注意是相同的活动下， 参考 https://blog.coast.ai/five-video-classifi...
ucf101 rgb 下载
09-27
UCF101是一个广泛使用的视频动作识别数据集，其中包含101个动作类别，包括从常见的运动动作到日常生活中的各种活动。这个数据集的目的是为了促进动作识别算法的发展和评估。 UCF101数据集中的每个视频都是以RGB的格式存储的，即每个视频帧都有R（红色）、G（绿色）和B（蓝色）三个通道组成的图像。因此，如果你想要进行UCF101数据集中的rgb视频下载，你需要下载整个数据集，并将视频帧保存为RGB图像。 首先，你可以搜索UCF101数据集的官方网站或相关的研究论文，以找到可以下载UCF101数据集的链接或资源。通常，官方网站或研究论文会提供数据集的下载链接和详细的使用说明。 一旦你找到了可用的下载链接，你可以通过单击链接来下载数据集的压缩文件。请注意，UCF101数据集非常大，通常需要大量的存储空间来保存所有的视频帧。因此，在下载数据集之前，请确保你有足够的存储空间。 下载完成后，你可以使用相应的软件来解压缩数据集的压缩文件。解压缩后，你将得到包含所有视频帧的文件夹。每个视频帧都被保存为RGB图像，你可以通过访问这些图像来获取RGB视频。 总结来说，要下载UCF101数据集中的RGB视频，你需要找到可用的下载链接，下载数据集的压缩文件，解压缩文件并访问保存为RGB图像的视频帧。这将需要大量的存储空间和相关的软件来完成。希望这个回答对你有帮助！
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重剑DS

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值