18、(复现)--CNN、RNN、LSTM、vit视频动作分类

已于 2024-02-08 17:54:47 修改
阅读量419 收藏 1
点赞数
分类专栏： 计算机视觉cv-base 文章标签： rnn cnn lstm transformer tensorflow gru
于 2023-08-10 09:29:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43199049/article/details/132202225
版权

# 关键词： CNN、RNN、LSTM、transform、vit、视频理解、动作分类

# 关键词：    RNN的3个分类： simple RNN、LSTM、GRU序列模型
        vision-transformer encoder
        cnn-rnn/vit视频动作分类

# 计划：        1、 simple RNN、LSTM、GRU序列模型、架构
        2、 simple RNN、LSTM、GRU序列模型、情感分类demo
        3、基于CNN-RNN的视频动作分类项目...【数据集小时】
        4、基于CNN-vit的视频动作分类项目...【数据集大时】            

简述transformer：        图片->划分成patch小块 -> 拉直成向量
                            -> +位置编码        -->> 输入： transformer-encoder网络
                                    -->> 多头、自注意力机制  --->>> 最后，再做分类！！！
RNN：    非常擅长处理、序列数据！！
    原因：他有顺序记忆的能力。逐渐积累信息！！！

RNN工作流程：    1、状态h记录状态信息、    2、词变成词向量xt        3、词向量xt输入RNN、RNN更新状态h        4、新的输入，会积累到状态h里去、逐渐累加起来！
        5、更新状态 h时，需要使用到 参数矩阵A,        6、整个语句，只有一个参数矩阵A,A的数值由我们训练得到！！！
公式：    tan h【A * [拼接：旧状态h0 + 新向量x1]】，        双曲正切： tanh ，值域【-1,1】，其实就是tan h = sin h /cos h


imdb电影评论分类：    正面positive、负面negative分类、    自动识别正/负面！！

创建环境：        imdb python=3.8
            # 下载 tensorflow-gpu报错：        https 403
            # 原因:        在外，使用自身手机热点，作为代理、        这是因为 PyPI 禁用了对 API 的非 HTTPS 访问
            #  修正：        命令：    pip install xxxx -i https://pypi.python.org/simple/

simple RNN缺陷：        只适合短期记忆、前期记忆会被稀释！！！
            网络层数增加、梯度消失导致的！！！
            具体：模型训练时、用于反向传播、优化参数的梯度、深层往浅层越来越小导致的！！
                梯度越小、参数仍然更新，就相当于在训练时、状态h4不会随着第一个输入变化≈≈没有关系了....不合理！！！相当于已经忘记了！！！

            为解决simple RNN的遗忘问题：        引入RNN的变种：LSTM、GRU....避免了梯度消失问题、记忆能力更强些！！！

LSTM：长短期记忆，        与RNN对比、LSTM有4个参数矩阵！！！
LSTM的核心：    一条传输带，向量c，过去的信息经过传输带传送！！ 避免消失问题！！！

        LSTM的遗忘门：    a经过sigmoid激活函数，变成压到【0,1】，选择性通过，0阻挡！其他选择性通过！！
        LSTM的输入门：    类似simple-RNN
        LSTM的新值c~t：    就是用 tan h，替代了 sigmoid，           双曲正切：tanh = sinh/cosh ...  【-1,1】
        更新计算，传输带，值 ct：        ct = ft *c(t-1) + it * c~t
                        # 遗忘门筛掉一些信息 + 加上一些新的东西！！

        LSTM的输出门：
            ot类似于遗忘门的 sigmoid 计算：        参数矩阵 A ,另外的训练得来..
            ht = ot * tanh（c~t）   # 获取状态向量...
        更新后的，ht有两个流向：        1、流向传送    2、流向输出    
        

LSTM的组成：    1、遗忘门    2、输入门    3、新值        4、输出门！！！

GRU:    类似于LSTM、    
GRU:        1、更新门、计算类似遗忘门        2、重置门、类似更新门计算    

# 编写代码：
simple-RNN，先编写出来，
LSTM、用LSTM，替代了simpleRNN即可！！！


# 数据预处理：：    中心裁剪、画面缩放、通道转换、用inception_resnetv2 提取特征、保留所需的序列帧数...搭建RNN网络模型、训练数据、保存在本地磁盘...
#  测试：：    拷贝上述预处理函数、调用，加载训练好的权重，随机选取视频测试、仅仅用RNN作为测试、transformer简单了解、并不亲自搭建，
#  效果：：    RNN 效果也不错、但就结果而言，transformer置信度conf 极高，不愧是加入了位置编码的transformer，置信度很多都是100%的！
#  有一点注意事项：    transformer的self.attention，自注意力机制，需要 tensorflow 2.5以后版本才有，尽量下载 tf 2.5，tf2.6及之后的版本！

# 词语的向量化： 词->设置向量长度32->乘上参数矩阵A->获得状态向量h


 

 

杰尼龟消防员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cnn-lstm:在Pytorch中实现的CNN LSTM架构用于视频分类
05-04
CNN LSTM 带有Resnet后端的CNN LSTM用于视频分类的实现 入门 先决条件 PyTorch（需要0.4以上版本） FFmpeg，FFprobe 的Python 3 尝试自己的数据集 mkdir data mkdir data/video_data 将您的视频数据集放入data / video_data中。格式应为- + data + video_data - bowling - walking + running - running0.avi - running.avi - runnning1.avi 从视频数据集中生成图像 ./utils/generate
使用 LSTM 进行视频分类：使用 LSTM 进行视频分类的简单示例-matlab开发
05-29
[英语] 这是使用 LSTM 和 MATLAB 进行视频分类的简单示例。 请运行名为 VideoClassificationExample 的代码。 此示例是基于位于以下位置的 Mathworks 官方文档创建的https://jp.mathworks.com/help/deeplearning/examples/classify-videos-using-deep-learning.html 虽然官方的例子需要下载一个2GB左右的数据集，这个例子可以试试使用少量数据，可以帮助您轻松尝试。 请注意，这只是带有图像的 LSTM 示例，请参阅官方示例以进一步研究。 我很欣赏缩略图和实时编辑器（ https://www.irasutoya.com/ ）中使用的免费图片。 [日本人]使用深度学习对视频进行分类。根据连接在人头上的摄像头的视频预测人是否在走路/跑步。以视频的帧作为输入，由经过训练的
Keras深度学习框架实战（6）：使用CNN-RNN架构实现视频分类
最新发布
MUKAMO的博客
06-04 1277
视频分类任务是将视频按内容分类的重要计算机视觉任务，常用于推荐系统和安全监控等领域。常使用CNN-RNN混合模型处理视频的空间和时间特征。在UCF101数据集上训练模型，通过预训练CNN提取帧特征，RNN处理时序信息，最终通过全连接层进行分类。实验结果通过准确率评估，模型可用于视频推荐和异常检测。为提升性能，可尝试微调预训练模型、改变模型架构或加入高级特性如自注意力机制。随着技术发展，视频分类任务性能将不断提升。
ViT (Vision Transformer) ----LSTM网络
进击的菜鸟
12-22 1645
LSTM是对RNN的改进，主要改进RNN的梯度消失的问题即长依赖问题，那么具体如何解决的呢？ 由上图可以发现增加了三个门，那么这三个门是如何解决长依赖问题的呢？LSTM最大的设计就是传输带C，就是通过传输带的设计避免梯度的消失，lstm存在很多门，可以让信息选择性通过 遗忘门 举个例子 得到遗忘门的输出f后，在和传输带的c向量相乘 那么遗忘门的功能主要体现在哪里呢？通过例子可以看出，遗忘门的输出f是0-1的概率值，乘上传输带c就可以控制传输带信息的流入量，该f值的获取荣光如下
从视频到音频：使用VIT进行音频分类
数据派THU
01-25 589
来源：Deephub Imba本文约2000字，建议阅读5分钟本文中，我们将利用ViT - Vision Transformer的是一个Pytorch实现在音频分类数据集GTZAN数据集-音乐类型分类上训练它。就机器学习而言，音频本身是一个有广泛应用的完整的领域，包括语音识别、音乐分类和声音事件检测等等。传统上音频分类一直使用谱图分析和隐马尔可夫模型等方法，这些方法已被证明是有效的，但也有其局限性...
2D卷积神经网络+LSTM实现视频动作分类
热门推荐
qq_43493208的博客
02-19 1万+
数据准备阶段： 数据准备阶段十分的重要，对于视频的准备阶段和图片的准备阶段又有不同，视频数据的准备最大的问题就是对于不同帧数的视频都要提取相同的帧数， ...
回归预测 - MATLAB实现CNN-LSTM多输入单输出（完整源码和数据）
05-05
在本项目中，我们探讨了如何使用MATLAB来实现一种深度学习模型——卷积神经网络（CNN）与长短期记忆网络（LSTM）相结合的多输入单输出（MISO）结构，用于回归预测任务。这一组合模型充分利用了CNN在处理序列数据中的...
CNN-LSTM Matlab源码，包括原数据
02-10
当这两种模型结合在一起，可以形成一个强大的框架，用于处理包含序列信息的图像任务，如视频分类、动作识别等。 **CNN部分** CNN的核心是卷积层、池化层和激活函数。卷积层通过滤波器（或称权重）对输入图像进行...
text-classification-cnn-rnn-master_RNN_CNN_
10-02
标题中的"RNN_CNN"表明这是一个结合循环神经网络（Recurrent Neural Network, RNN）与卷积神经网络（Convolutional Neural Network, CNN）的项目，用于中文文本分类。在描述中，我们得知该实现是用TensorFlow完成的...
CNN+LSTM EGG项目,cnn-lstm,Python
09-11
在本项目中，我们主要探讨的是利用深度学习技术，特别是卷积神经网络（CNN）与长短期记忆网络（LSTM），来对脑电图（Electroencephalogram，简称EGG）数据进行分类预测。这是一项涉及生物医学信号处理和机器学习的...
rnn.zip_LSTM MATLAB_LSTM-RNN_RNN-LSTM_rnn lstm_rnn matlab
07-15
作为刚开始研究RNN 的小白，可以看RNN和LSTM的ｍａｔｌａｂ程序，本人刚开始学习 ，把找到的资源分享给大家。
简单视频分类模型
自由小兵儿
10-20 3772
视频可以简单看作一系列图片的集合 1. 视频分类简介 视频分类通过有以下几种方法： 2DCNN + LSTM 3DCNN 本文仅仅介绍最简单的2DCNN + LSTM的方法，使用tensorflow 2.0+ 进行实现，保证代码尽可能简短，但性能将会一般。 2. 数据集准备 虽然视频是由很多帧构成的，但是如果我们选取所有帧会消耗大量的计算资源，并且不同视频帧数不同会导致LSTM的输入不确定。为了保证所有视频提取出的所有帧数量相同，本文使用最简单的方法进行预处理（等间隔采样法）。 等间隔采样方法示例：.
read time out解决方法_基于LSTM的视频分类/行为识别方法整理
weixin_39959126的博客
11-20 909
基于LSTM的视频分类和行为识别方法本应该是很久以前的故事了，在这一领域，近年来基于3D卷积的方法如I3D，C3D，以及一系列衍生方法取得了更好的效果。但了解前世今生仍然是这一领域的调研需要做的事情。LSTM简介：Long Short Term Memory networks（以下简称LSTMs），一种特殊的RNN网络，该网络设计出来是为了解决长依赖问题。该网络由 Hochreiter &...
基于cnn version_transformer VIT模型的动物图像分类 完整代码+数据 动物分类教程
机器学习深度学习业余选手
02-28 626
基于cnn version_transformer VIT模型的动物图像分类 完整代码+数据 动物分类教程
基于Video Vision Transformer的医学轻量视频分类任务
m0_63642362的博客
11-27 1157
MedMNIST数据集上基于Video Vision Transformer的医学轻量视频分类任务。
视频分析中的那点事情
weixin_43506858的博客
12-05 426
对视频进行分类是一个活跃的研究领域，因为处理这种类型的问题需要大量的数据。内存需求经常达到现代GPU的极限，可能需要在多台机器上进行分布式的训练。 目前学者们正在探索复杂度不断增加的几个方向，来回顾一下： 第一种方法是通过将视频的每一帧视为一幅单独的图像，利用二维 CNN 进行处理。这种方法将视频分类问题简化为图像分类问题。每帧视频图像都有类别输出，并且根据各帧输出的类别，选择频率最高的类别作为视...
视频分类（Video Classification）任务概述
Silver__Wolf的博客
08-01 908
视频分类任务目的视频分类任务数据集视频分类模型视频分类应用场景如何训练模型和部署结尾。
Pytorch学习笔记:RNN的原理及其手写复现
qq_73462282的博客
08-12 434
应用多层 Elman RNN 与tanh或ReLU非线性到 输入序列。对于输入序列中的每个元素，每个层计算以下内容 功能(计算公式)：即ht是t时刻的隐藏状态,xt是t时刻的输入状态,h(t-1)是t-1时刻的隐藏状态,h0则表示初始时刻的隐藏状态.并提供了俩种激活函数tanh和ReLU,一般状态下用的tanh激活函数首先需要对RNN进行 实例化,提供以下参数。
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值