视频分类——C3D使用

已于 2024-07-24 11:29:48 修改
阅读量769 收藏 12
点赞数 16
分类专栏： 深度学习工具链 深度学习算法 文章标签： 计算机视觉 人工智能 分类 视频
于 2024-05-21 18:38:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/139099668
版权

整体比较分散，可能很多源码都需要修改，需要有耐心。

一、数据准备

PS

调研后，上手容易代码比较简洁的是：https://github.com/Niki173/C3D/tree/main

因为源码很多参数都写死到了源码中，没有解耦，并且默认只支持ucf101和hmdb51两个数据集，所以建议最快的方式是将自己的数据集命名为ucf101然后修改对应的参数。以下均以此为前提进行说明。

我自己完成了重构，仅仅需要修改配置文件，不需要修改代码：https://download.csdn.net/download/u012863603/89341623

1、数据组织结构

一般建议是准备原始视频文件，然后源码会自动拆帧为图片，这里以ucf101为例

抽帧前的视频组织形式，不区分train/val/test, 不同类别的视频数据放到不同的文件夹中。

Ucf101

—class_name_1

——video_1

——…

—...

PS：这里要注意视频长度不要过长，因为源码是一次性将一个视频所有帧读到内存然后进行crop指定帧数（16帧）和大小（112），所以也要看你的特征不被crop掉（源码是先缩放到128*171然后随机crop 112*112）

源码处理完后的路径如下，要注意默认源码会按照4帧间隔，6：2：2（近似）分割train/val/test集合。

Ucf101

—train

——class_name_1

———video_frames_dir_1

———…

——...

—val

——class_name_1

———video_frames_dir_1

———…

——…

—test

——class_name_1

———video_frames_dir_1

———…

——...

2、修改数据源和类别数（必选）

https://github.com/Niki173/C3D/blob/main/train.py#L28

建议复用ucf101，只修改对应的num_classes变量的值。

3、修改label信息（必选）

https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L58

源码仅仅实现了ucf101、hmdb51，这里有两种方式，最简单的就是复用ucf101的名字，只不过是自己的数据，然后删除掉源码的“dataloaders/ucf_labels.txt ”文件，让源码自己根据数据重新生成，也可以自己修改这个文件，文件的格式如下：

4、修改视频文件路径（必须）

这里源码的处理逻辑是自动一级一级检查图片帧目录，是否存在，并且会检查第一个类别的第一个视频的图片帧的分辨率是否符合要求。

https://github.com/Niki173/C3D/blob/main/mypath.py

5、修改视频帧尺寸（可选）

逻辑是抽帧的时候resize成这个尺寸，然后训练的时候中心crop成112。源码需要修改两个地方。

1）https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L31

2）https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L105

    6、修改归一化特征值（可选）

    https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L208

     

7、修改是否需要test（可选）

一般现实工程数据较少时或者上线有其他测试集，建议关闭test分割，方式就是注销相关代码，下面标红框。

https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L115

 

https://github.com/Niki173/C3D/blob/main/train.py#L23

https://github.com/Niki173/C3D/blob/main/train.py#L100

注销红框

8、修改抽帧间隔（可选）

默认是4秒。

https://github.com/Niki173/C3D/blob/main/dataloaders/dataset.py#L170

 二、训练超参数

https://github.com/Niki173/C3D/blob/main/train.py#L21

三、网络结构

    1、C3D结构

    2、R(2+1)D结构

    3、区别

    1）R2D模块就是传统的2d卷积，将输入c×l×h×w看作是cl×h×w（把多张当作一整张），只是将2d卷积作用于multi-frames上。

    2）f-R2D，采取R2D相反的方式，分别对每帧做操作，在最后全局池化层在做所有帧的信息融合。

    3）C3D：就是将时间维度单独成一维。网络结构如上面的图。

    4）R3D模块就是前面讲的C3D模块，只不过是放到ResNet网络中。

    5）R(2+1)D：作者设计了2d卷积和1d卷积filter个数的匹配公式。相比于R3D，虽然参数没变，但由于R(2+1)D添加更多Relu激活层，模型的表达能力应该更强，同时也更容易训练优化。

    6）P3D：R(2+1)D更接近P3D-A，把R(2+1)D都设计为相同的block，但P3D的第一层使用的是2d卷积。

    

开源实现

https://github.com/HHTseng/video-classification

https://github.com/kenshohara/3D-ResNets-PyTorch

几个不同网络区别：[论文笔记] C3D | P3D | R2D - 知乎

C3D代码总结（Pytorch）-CSDN博客

TigerZ*
关注
专栏目录
视频分类|使用3D CNN或C3D模型在UCF101数据集上进行视频分类任务。
sybh的博客
04-24 825
3D CNN模型期望的输入形状是（batch_size，num_frames，height，width，channels），其中batch_size是批大小，num_frames是帧数，height是图像高度，width是图像宽度，channels是图像通道数。最后，我们添加一个全连接层，该层的输出使用softmax激活函数，将模型输出映射到每个类别的概率分布。在这篇博客中，我们将介绍如何使用Python和深度学习框架Keras来实现视频分类，我们将使用3D CNN模型在UCF101数据集上进行分类任务。
使用3D卷积神经网络（3D CNN）或C3D模型在UCF101数据集上进行视频分类任务
QromMatlab的博客
09-22 421
在该类中，我们定义了模型的架构，包括卷积层、池化层、全连接层等。然后，我们将视频文件名和标签划分为训练集和测试集，通常采用70%的数据作为训练集，30%的数据作为测试集。由于视频数据是时序数据，我们需要将每个视频片段划分为连续的帧，并将其转换为适合3D CNN或C3D模型的输入格式。近年来，深度学习模型，特别是卷积神经网络（CNN），在视频分类任务中取得了显著的成果。针对视频数据的特殊性质，研究人员引入了3D卷积神经网络（3D CNN）和C3D模型，以有效地处理视频数据的时空信息。
C3D进行视频分类：使用自己数据集
waiyayaya的博客
10-21 910
在C3D视频分类的基础上，改用自己的数据集
C3D的视频分类
qq_28778507的博客
11-26 6609
很久之前做了C3D的视频分类，现在详细把整个项目的细节描述一下。 首先介绍一下C3D：对于一段视频来说，它是连续的帧图像叠加起来的，所以可以考虑在生成通道图像的时候，把多帧图像叠加的特性讨论进去。 一个视频段输入，其大小为 c∗l∗h∗w ,其中c为图像通道(一般为3),l为视频序列的长度，h和w分别为视频的宽与高。进行一次kernel size为3∗3∗3,stride为1,padding=Tr...
C3D：视频动作分类demo实现
热门推荐
AUTO1993的博客
05-01 1万+
C3D：视频动作分类demo实现 C3D这个网络是来自于learning Spatiotemporal feature with 3DConvolutional Networks这篇文章，我也对这篇文章仔细的研读过，总的来说这篇文章提出的网络的卷积神经网络（CNN）近年被广泛应用于计算机视觉中，包括分类、检测、分割等任务。这些任务一般都是针对图像进行的，使用的是二维卷积（即卷积核的维度为二维
「深度学习一遍过」必修28：基于C3D预训练模型训练自己的视频分类数据集的设计与实现
闭关修炼——暂退
11-12 8568
本专栏用于记录关于深度学习的笔记，不光方便自己复习与查阅，同时也希望能给您解决一些关于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。专栏地址：「深度学习一遍过」必修篇 开源项目代码：https://github.com/jfzhang95/pytorch-video-recognition 1 DownLoad or Clone Linux： git clone https://github.com/jfzhang95/pytorch-video-reco...
c3d_video.pdf
06-02
针对时空特征的学习，我们提出了一个简单有效的方法，在大规模有监督视频数据集上使用深度3维卷积网络(3D ConvNets)。我们有3个发现： 3D ConvNets比2D ConvNets更适用于时空特征的学习； 对于3D ConvNet而言，在所有层使用3×3×3的小卷积核效果最好； 我们通过简单的线性分类器学到的特征名为C3D(Convolutional 3D)，在4个不同的基准上优于现有的方法，并在其他2个基准上与目前最好的方法相当。 此外，特征是紧凑的：在UCF101数据集上得到52.8%的准确率只用了10维，并且由于ConvNets的推断快，计算效率非常高。最后，它们在概念上非常简单，易于训练和使用。
视频分类论文阅读笔记——Learning Spatiotemporal Features With 3D Convolutional Networks
qq_41341454的博客
03-30 557
论文：Learning Spatiotemporal Features With 3D Convolutional Networks 作者： 来源：ICCV2015 代码： 文章目录1.摘要 1.摘要
PaddlePaddle百度论文复现营——视频分类入门学习笔记
Kevin Pang的博客
08-07 673
PaddlePaddle百度论文复现营——视频分类入门学习笔记 1 任务与背景 视频分类任务、问题与挑战、经典数据集、深度学习相关背景知识 1.1 视频分类的意义 1.2 视频分类定义 1.3 视频分类的挑战 1.4 视频分类发展历程 1.5 视频分类数据集 1.5.1 HMDB-51 主要用于行为识别 1.5.2 UCF-101 主要用于行为识别，运动分析，是最具有影响力的视频分类数据集之一 1.5.3 Sports-1M 主要用于行为识别，运动分析，斯坦福大学提供的视频分类数
MMAction2 学习笔记 （二）——通用工具使用及网络DIY （上）
Jason_____Wang的博客
11-17 4359
MMAction2 学习笔记 （二）——通用工具使用及网络DIY 0- 写在前面 继续上一篇骨骼关键点识别算法相关内容的学习，今天学习通用领域的工具使用以及网络的DIY 目前正在实习，具体的内容方向是基于骨骼关键点的动作识别（skeleton based action recognition）。 在经过了多多的调研之后，觉得目前还是mmaction2平台最香，因此希望后续工作（包括效果的验证、实验、对比等等）包括前期的端到端工作都在mmaction2工具箱上展开。 学习mmaction2的目的是能够借助该平
R-C3D: Region Convolutional 3D Network for Temporal Activity Detection
LYKymy的博客
09-20 975
Abstract 我们解决了连续的活动检测问题，未剪辑的视频流。这是一项困难的任务需要提取有意义的时空特征捕捉活动，准确定位开始和结束每次活动的时间。我们引入了一种新的模型，区域卷积3d网络（r-c3d），它使用三维全卷积网络对视频流进行编码，然后生成候选的时间区域（包含活动），最后将选定区域分类为特定活动。由于方案和分类管道之间的卷积特征共享，节省了计算量。整个模型采用端到端的训练，同时...
动作识别模型复现_c3d_动作识别_视频动作识别
09-11
在视频动作识别领域比较经典的两个模型复现，C3D、双流。
五视频分类方法：我的博客文章随附的代码概述了Keras和TensorFlow中的五种视频分类方法
02-03
五个视频分类方法 五个视频分类方法： 使用ConvNet一次分类一帧 使用ConvNet在单独的网络中从每个帧中提取特征，并将序列传递给RNN 使用时间扭曲的ConvNet，将功能传递给RNN，就像＃2一样，但都在一个网络中（这是代码中的lrcn网络）。 使用ConvNet从每个帧中提取特征并将序列传递给MLP 使用3D卷积网络（有两个版本的3d转换可供选择） 有关完整的详细信息，请参见随附的博客文章： : 要求 此代码要求您已安装Keras 2和TensorFlow 1或更高版本。 请参阅requirements.txt文件。 为了确保您最新，请运行： pip install -r requirements.txt 您还必须安装ffmpeg才能提取视频文件。 如果ffmpeg不在您的系统路径中（即which ffmpeg不返回其路径，或者您使用的操作系统不是* nix），则需要在data/2_extract_files.py路径更新为ffmpeg 。 。 获取数据 首先，将数据集从UCF下载到data文件夹中： cd data && wget http://crc
视频格式的分类及介绍
07-22
本文对视频格式进行了分类及介绍
随机森林应用案例 —— otto产品分类_随机森林分类实例
最新发布
2401_84166396的博客
05-01 52
x.shape,y.shapex_resampled.shape,y_resampled.shape sns.countplot(y_resampled) plt.show() y_resampled from sklearn.preprocessing import LabelEncoderle = LabelEncoder() y_resampled = le.fit_transform(y_resampled) y_resampled from sklearn.model_selection impo
视频分类
luoganttcc的博客
11-02 3855
视频分类链接 原文 ｋｅｒａｓ
「Video Analysis」Note on C3D
小锋子Shawn
03-22 241
Sina Weibo：小锋子ShawnTencent E-mail：403568338@qq.comhttp://blog.csdn.net/dgyuanshaofeng/article/details/796477161. 视频描述子    要求：第一，generic but discriminative；第二，compact for processing, storing, and retri...
基于keras和深度学习的视频分类实战（附代码）
qq_41956697的博客
03-11 2043
该文章涉及到了模型微调、使用训练好的模型来进行视频分类。这是我在一个国外博客翻译过来的。作者首先通过train.py训练微调模型，之后用训练好的模型在predict_video.py进行视频分类。如果需要源码请留下邮箱。 在执行图像分类时，我们： 输入一幅图像到我们的CNN中； 从CNN中获得预测； 选择相应概率最大的标签。 由于视频只是一系列帧，一种简单的视频分类方法是： 1.循环播放视频文件中的所有帧 2.对于每一帧，通过CNN传递帧 3.对每个帧进行单独的分类，并且相互独立 4.选择相应概率最大的标签
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值