3D CNN(视频分类网络)无预训练权重训练难以收敛问题在各视频分类网络论文中的解决综合(train from scratch)(更新中)

最新推荐文章于 2023-12-20 11:40:53 发布
最新推荐文章于 2023-12-20 11:40:53 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： 视频分类 动作识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42388228/article/details/105331885
版权
在视频分类任务中，直接使用3D CNN从头开始训练常常遇到不收敛的问题。针对此，文章探讨了不同网络如ResNet、Two Stream I3D在预训练权重基础上进行微调的成功经验，并尝试了各种解决策略，包括常数预热（constant warmup）和渐进预热（gradual warmup）。实验表明，逐渐预热结合适当的大批量大小可以改善训练曲线，使训练误差率降低。此外，介绍了SlowFast和CSN网络的具体训练设置，如Warmup迭代次数、学习率衰减策略和GPU数量对训练过程的影响。
摘要由CSDN通过智能技术生成

问题：
视频分类网络像two stream i3d等都是直接在作者给的预训练权重上finetune自己的数据，然后在训练集上训练至过拟合。基本随便一个图像分类网络在任意一个数据集的训练集上都能收敛，但自己直接使用一个恒定的学习率来在自己的数据集train from scratch的话，只要3D CNN一大就从来就没有收敛过(自己用tf写的3D-ResNet, Non-local, s3d, p3d等等，但5层的C3D倒是收敛过，可能是网络参数比较少的缘故)

尝试解决方法：阅读一些不能从ImageNet的2D CNN直接重叠
ResNet：只是说一开始用0.1的学习率有点大就除了10其他就没有其他的解释了

original warmup：1.constant warmup 2.gradual warmup
1.constant warmup：以一个较小的学习率先训练5个epoch，然后再回到较大的学习率(较小学习率的k倍)
2.gradual warmup：以一个较小的学习率开始，在每个iteration训练后增加一点学习率，直到在第5个epoch后，学习率增加到后续学习率衰退策略的初始学习率；
文章中使用的constant warmup lr=0.1，gradual warmup学习率从0.1在5个epoch下增加到3.2，然后再使用30，60，90个epoch学习率除以10的学习率衰退的策略
本文的主要结果是使用了gradual warmup后，使用较大的minibatch size训练的训练曲线(纵坐标为训练错误率，横坐标为epoch)和在使用较小的minibatch size训练时的训练曲线在后面大部分epoch基本重合
(Accurate, Large Minibatch SGD: Training ImageNet in 1

最低0.47元/天 解锁文章
ystsaan
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
视频分类|使用3D CNN或C3D模型在UCF101数据集上进行视频分类任务。
sybh的博客
04-24 778
3D CNN模型期望的输入形状是（batch_size，num_frames，height，width，channels），其中batch_size是批大小，num_frames是帧数，height是图像高度，width是图像宽度，channels是图像通道数。最后，我们添加一个全连接层，该层的输出使用softmax激活函数，将模型输出映射到每个类别的概率分布。在这篇博客中，我们将介绍如何使用Python和深度学习框架Keras来实现视频分类，我们将使用3D CNN模型在UCF101数据集上进行分类任务。
神经网络学习小记录-番外篇—(2)，我崩溃了
最新发布
2401_84139610的博客
04-09 962
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程-python
06-18
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程 视频分类 该存储库使用 UCF101 和 PyTorch 为视频分类（或动作识别）构建了一个快速而简单的代码。 视频被视为一个 3D 图像或几个连续的 2D 图像（图 1）。 下面是两个简单的神经网络模型：数据集 UCF101 共有来自 101 个动作的 13,320 个视频。 视频具有不同的时间长度（帧）和不同的 2d 图像大小； 最短的是28帧。 为了避免像 OpenCV 或 FFmpeg 这样的帧提取和转换等痛苦的视频预处理，这里我直接使用了来自 feichtenhofer 的预处理数据集。 如果您想从头开始转换或提取视频帧，这里有一些不错的教程：https://pythonprogramming.net/loading-video-python-opencv-tutorial/ https://www.pyimagesearch.com/2017/02/ 06/faster-video-file-fps-with-cv2-videocapture-and-opencv/ 模型 1. 3
什么是预训练模型？如何得到预训练权重？
梦在黎明破晓时的博客
12-20 3158
预训练模型把迁移学习很好地用起来了，让我们感到眼前一亮。这和小孩子读书一样，一开始语文、数学、化学都学，读书、网上游戏等，在脑子里积攒了很多。当他学习计算机时，实际上把他以前学到的所有知识都带进去了。如果他以前没上过中学，没上过小学，突然学计算机就不懂这里有什么道理。这和我们预训练模型一样，预训练模型就意味着把人类的语言知识，先学了一个东西，然后再代入到某个具体任务，就顺手了，就是这么一个简单的道理。
yolov5——问题记录
retainenergy的博客
05-06 8848
简介 记录自己学习yolov5中遇到的问题，随即不定时更新，遇到问题记录下来方便回顾。 2022.05.06 1、改用VOC数据集进行训练，修改完格式后，运行train.py报错： AssertionError: train: No labels in …/train.cache. Can not train without labels. See https://github.com/ultralytics/yolov5/wiki/Train-Custom-Data 解决方法：打开文件目录下 utils/
【Pytorch】修改网络后加载预训练权重
晴明大大的创作中心
05-16 1万+
内容 本文章带大家如何给自己修改过后的网络，加载预训练权重。 很多小伙伴针对某一模型进行修改的时候，在修改模型后想要加载预训练权重，会发现频频报错，其实最主要原因就是权重的shape对应不上。 注意：以下方法仅仅针对于在原网络改动不大的情况下加载预训练权重！ 1、.pt文件----->model：从.pt文件直接加载预训练权重。 # 模板 ckpt = torch.load(weights) # 加载预训练权重 model = Model() # 创建我们的模型 model_dict = mode
PyTorch载入预训练权重方法和冻结权重方法
frighting_ing的博客
01-10 1万+
载入预训练权重 1. 直接载入预训练权重 简单粗暴法： pretrain_weights_path = "./resnet50.pth" net.load_state_dict(torch.load(pretrain_weights_path)) 如果这里的pretrain_weights与我们训练的网络不同，一般指的是包含大于模型参数时，可以修改为 net.load_state_dict(torch.load(pretrain_weights_path), strict=False) 2. 修改网络结
Models_from_scratch:使用PyTorch，TensorFlow和JAX进行复制和应用程序重用的一些已知ML架构实现
03-16
在"Models_from_scratch-main"这个压缩包中，很可能是包含了一些使用这三个框架实现的常见机器学习模型的源代码。这些模型可能包括但不限于ResNet（用于图像识别）、LSTM（用于序列建模）、BERT（用于自然语言处理）...
CNN-Sentinel:使用Keras分析Python中的Sentinel-2卫星数据（我们在Minds Mastering Machines 2019和PyCon 2018上的演讲资料库）
05-04
使用TensorFlow.Keras在Python中分析Sentinel-2卫星数据 基于开放数据集的卫星数据和CNN的最新土地利用分类概述 大纲 您可以在此处找到脚本 01_split_data_to_train_and_validation.py ：将完整的数据集分为训练和...
YOLO_V3 object detection
06-03
在`YOLO_v3_tutorial_from_scratch-master`压缩包中，你可能找到以下文件： - `model.py`：包含YOLO_v3网络结构的定义。 - `dataset.py`：用于加载和预处理数据的代码。 - `train.py`：训练模型的脚本。 - `test.py`...
颜色分类leetcode-3DCNN:用于视频分类的3D卷积神经网络
07-06
颜色分类leetcode 3DCNN 使用（作为后端）实现用于视频分类的 3D 卷积神经网络。 描述 此代码需要 . 此代码生成精度和损失图，模型图，结果和类名作为 txt 文件，模型作为 hd5 和 json。 您可以使用visualize_input.py 制作输入图像，以最大化特定输出。 此代码能够最大化任何分类模型的层输出。 （仅允许密集层卷积层（2D/3D）和池化层（2D/3D）。） 要求 Python3 opencv3（带 ffmpeg）、keras、numpy、tqdm 选项 3dcnn.py 的选项如下： --batch批量大小，默认为 128 --epoch历元数，默认为 100 --videos存储数据集的目录名称，默认为 UCF101 --nclass要使用的类数，默认为 101 --output将保存上述结果的目录--color使用 RGB 图像或灰度图像，默认为 False --skip间隔或连续获取帧，默认为 True --depth要使用的帧数，默认为 10 3dcnn_ensemble.py 的选项与 3dcnn.py 的选项几乎相同。 您可以使用--n
神经网络不收敛的 11 个原因及其解决办法
AI 算法笔记
05-04 9766
原文：http://theorangeduck.com/page/neural-network-not-working 原文标题：My Neural Network isn’t working! What should I do? 译文作者：kbsc13 联系方式： Github：https://github.com/ccc013 知乎专栏：机器学习与计算机视觉，AI 论文笔记 微信公众号：AI 算法笔记 前言 如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：
请谨慎使用预训练的深度学习模型
AI公园
04-20 2381
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Cecelia Shao编译：ronghuaiyang导读预训练模型用起来非常容易，但是你是否忽略了可能影...
学习笔记26-解决：载入预训练模型时Pytorch遇到权重不匹配的问题（附+修改后的预训练模型载入和冻结特征权重完整代码）
热门推荐
LZL2020LZL的博客
03-15 2万+
在pytorch微调mobilenetV3模型时遇到的问题 1.KeyError: ‘features.4.block.2.fc1.weight’ 这个是因为模型结构修改了，没有正确修改预训练权重，导致载入权重与模型不同，使用下面说的两种方法适当修改载入权重即可。 2.size mismatch for fc.weight: copying a param with shape torch.Size([1000, 1280]) from checkpoint, the shape in current mo
3dcnn视频分类算法-pytorch上分之路
weixin_41124056的博客
02-22 4861
3DCNN-视频分类项目结构config.pydatalist.pymodel.pytrain.py最后 项目结构 config.py import argparse ''' training settings metavar参数，用来控制部分命令行参数的显示 ''' parser = argparse.ArgumentParser(description='PyTorch Example for all') parser.add_argument('--train-batch-size', type
机器学习笔记 - 使用3D卷积神经网络进行视频分类
学以致用 知行合一
10-14 972
例如，内核大小的 (2 + 1)D 卷积(3 x 3 x 3)需要大小为 的权重矩阵(9 * channels**2) + (3 * channels**2)，其数量不到完整 3D 卷积的一半。首先安装并导入必要的库，用于处理ZIP文件内容的Remotezip 、用于使用进度条的tqdm 、用于处理视频文件的OpenCV 、用于执行更复杂的张量操作的einops，以及用于在 Jupyter Notebook 中嵌入数据的库。(2 + 1)D 卷积允许分解空间和时间维度，因此创建两个单独的步骤。
视频分析中的那点事情
weixin_43506858的博客
12-05 456
对视频进行分类是一个活跃的研究领域，因为处理这种类型的问题需要大量的数据。内存需求经常达到现代GPU的极限，可能需要在多台机器上进行分布式的训练。 目前学者们正在探索复杂度不断增加的几个方向，来回顾一下： 第一种方法是通过将视频的每一帧视为一幅单独的图像，利用二维 CNN 进行处理。这种方法将视频分类问题简化为图像分类问题。每帧视频图像都有类别输出，并且根据各帧输出的类别，选择频率最高的类别作为视...
Faset RCNN （学习笔记一）
weixin_39542613的博客
08-22 790
Faster RCNN学习笔记
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值