ViT (Vision Transformer) ----LSTM网络

最新推荐文章于 2024-11-14 04:51:32 发布
最新推荐文章于 2024-11-14 04:51:32 发布
阅读量1.8k 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： lstm transformer 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42398658/article/details/122091885
版权

LSTM是对RNN的改进，主要改进RNN的梯度消失的问题即长依赖问题，那么具体如何解决的呢？

由上图可以发现增加了三个门，那么这三个门是如何解决长依赖问题的呢？LSTM最大的设计就是传输带C，就是通过传输带的设计避免梯度的消失，lstm存在很多门，可以让信息选择性通过

  1. 遗忘门

举个例子

得到遗忘门的输出f后，在和传输带的c向量相乘

那么遗忘门的功能主要体现在哪里呢？通过例子可以看出，遗忘门的输出f是0-1的概率值，乘上传输带c就可以控制传输带信息的流入量，该f值的获取荣光如下：

由此可以发现，遗忘门的输入是输入x_t和上一个状态的输出h_t-1的concat组成的向量，然后和矩阵W_f相乘，在通过sigmoid激活函数得到输出f_t，其中矩阵W是通过数据训练学习而来

  1. 输入门

计算i_t的方式和遗忘门输出的计算差不多，都是把上一状态的输出h_t-1和输入x_t做concat connection，然后和矩阵W_i相乘，在通过激活函数sigmoid激活函数获取到输出i_t，此时输出的范围为0-1的概率值

更新传输带的值C_t

除了需要计算输入的的输出，还要计算待更新的传输带的值C^_T,该值的计算和计算i_t的类似，只是不同是激活函数为tanh，最后待更新的传输带的值从C^_T的值的范围是-1到1，该值在和i_t相乘，在于遗忘门输出相加得到传输带的C_t值，如下：

  1. 输出门

输出门的计算方式和以上差不多，激活函数是sigmoid，计算过程和遗忘门、输入门类似

更新状态h_t的值。

  1. 总结

VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
Edward的博客
07-20 218
QKVsoftmaxdk​​QKT​V​k​×Wmap.×Wmap.t​vr​sd​softmaxC​1​ConvFvr​ConvFt​Twhere C​1​sd​×W×Nt​where Hand Wt​t​t​sd​sd​t​sdl​sdl​Asd​ConvFt​where Fsdl​×W×Csdl​across H。
YoloV8改进策略：Block篇|Vision-LSTM将xLSTM 作为通用视觉主干（全网首发）
m0_47867638的博客
06-20 2007
本文使用Vision-LSTM改进YoloV8的block，取得了不错的得分。如果大家想发顶会，或者比较好的期刊，可以优先考虑！
visionLSTM-xLSTM
08-22
【新研究发布】Vision-LSTM：重塑视觉领域的LSTM架构！ 你还在用Transformer做视觉任务吗？Vision-LSTM（ViL）震撼来袭，将扩展型LSTM（xLSTM）引入计算机视觉领域，性能卓越！ ViL通过交替的xLSTM块设计，实现了图像的非顺序高效处理，无论是分类还是语义分割，都展现出强劲的实力！ 实验结果显示，ViL在ImageNet-1K、ADE20K和VTAB-1K等多个基准测试中表现优异，甚至在结构化数据集上超越了优化多年的Transformer模型！ ViL的交替块设计不仅提升了性能，还保持了计算和参数的效率，未来潜力无限！ #VisionLSTM #深度学习 #计算机视觉 #xLSTM #新研究 #AI前沿
Vision-LSTM: xLSTM 作为通用视觉主干
m0_47867638的博客
06-10 1321
尽管Transformer最初是为自然语言处理引入的，但它现在已经被广泛用作计算机视觉中的通用主干结构。最近，长短期记忆（LSTM）已被扩展为一种可扩展且性能优越的架构——xLSTM，它通过指数门控和可并行化的矩阵内存结构克服了LSTM长期以来存在的限制。在本报告中，我们介绍了Vision-LSTM（ViL），它是将xLSTM构建块应用于计算机视觉的一种适配。ViL由一系列xLSTM块组成，其中奇数块从上到下处理补丁标记的序列，而偶数块则从下到上处理。
一文快速预览经典深度学习模型（一）——CNN、RNN、LSTM、Transformer、ViT
ttrr27的博客
11-05 3780
Hi，大家好，我是半亩花海。本文主要简要并通俗地介绍了几种经典的深度学习模型，如CNN、RNN、LSTM、Transformer、ViT（Vision Transformer）等，便于大家初探深度学习的相关知识，并更好地理解深度学习的基础内容，为后续科研开展建立一定的基础，欢迎大家一起交流学习。
Vision-LSTM：开启视觉理解新视角
gitblog_00230的博客
08-16 674
Vision-LSTM：开启视觉理解新视角 项目地址:https://gitcode.com/gh_mirrors/vi/vision-lstm Vision-LSTM（ViL）是计算机视觉领域的一个创新性开源项目，它是对xLSTM的适应性改进版本，由NX-AI团队提供Pytorch实现和预训练模型。该项目旨在利用长时序的记忆机制来增强深度学习模型对于复杂视觉场景的理解。 项目简介 Vision-...
EfficientVMamba实战：使用 EfficientVMamba实现图像分类任务（二）
AI浩
04-02 3246
训练部分。
Hiera实战：使用Hiera实现图像分类任务（一）
AI浩
11-27 1537
现代层次视觉变换器在追求监督分类表现时增加了几个特定于视觉的组件。这些组件虽然带来了有效的准确性和吸引人的FLOP计数，但增加的复杂性实际上使这些变换器比普通ViT更快。作者认为这种额外的体积是不必要的。通过使用强大的视觉预训练任务(MAE)进行预训练，可以从最先进的多阶段视觉变换器中去除所有花里胡哨的东西，同时不会丢失准确性。在此过程中，作者创建了Hiera，这是一种极其简单的层次视觉变换器，它比以前的模型更准确，同时在推理和训练过程中都明显更快。在各种任务上评估了Hiera对于图像和视频识别的表现。
LSTM再创新高：xLSTM、Vision-LSTM与混合架构引领SOTA新纪元
最新发布
百态老人的博客
11-14 962
Vision-LSTM（ViL）模型的训练过程如下：首先，在安装包方面，安装 timm 使用“pip install timm”命令，因为 mixup 增强和 EMA 会用到 timm。数据增强方面，为提高成绩在代码中加入 Cutout 和 Mixup 这两种增强方式，安装 torchtoolbox 可实现这两种增强，安装命令为“pip install torchtoolbox”。
详解vit_base_patch16_224
人工智能曾小健
08-20 1638
ViT-Base模型的核心思想是将输入图像划分为多个小块（patches），并使用Transformer架构来处理这些小块。具体来说，ViT-Base使用16x16像素的patch大小，输入图像的尺寸为224x224像素，这意味着每张图像将被划分为49个patch（22416×22416=14×14=19616224​×16224​=14×14=196个patch）。ViT-Base（ViT-B/16）通过将图像处理任务转化为序列处理任务。
Vision Transformer综述翻译
Yore_的博客
03-30 2022
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
Vision-LSTM（ViL）实战：使用Vision-LSTM（ViL）实现图像分类任务
06-11
Vision-LSTM（ViL）架构的核心是xLSTM块。每个xLSTM块都包含一个输入门、一个遗忘门、一个输出门和一个内部记忆单元。与传统的LSTM相比，xLSTM引入了指数门控机制，使得模型能够更好地处理长序列数据。同时，xLSTM采用可并行化的矩阵内存结构，提高了模型的计算效率。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/139582259
LSTM学习心得
12-17
LSTM学习心得。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
神经网络模型结构图.visio格式
01-18
三个用visio画的神经网络模型结构图，保存一下，下次直接可以修改。
LSTM杀入视觉！Vision-LSTM：全新的通用视觉主干！
阿木寺的博客
06-08 1020
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达重磅！端午节特惠！CVer学术星球最大优惠！赠送新用户50元优惠券(下方左图)，老用户7折+20元续费券(下方右图)，每天分享最新最优质的AI/CV内容，涨点idea非常多，最强助力你的科研和工作！还没加入/续费的同学快扫码加入！转载自：机器之心 | 编辑：鸭梨、蛋酱与 DeiT 等使用 ViT 和 Vision-Mamba (V...
18、(复现)--CNN、RNN、LSTM、vit视频动作分类
qq_43199049的博客
08-10 580
RNN工作流程： 1、状态h记录状态信息、 2、词变成词向量xt 3、词向量xt输入RNN、RNN更新状态h 4、新的输入，会积累到状态h里去、逐渐累加起来！# 测试：： 拷贝上述预处理函数、调用，加载训练好的权重，随机选取视频测试、仅仅用RNN作为测试、transformer简单了解、并不亲自搭建，-->> 多头、自注意力机制 --->>> 最后，再做分类！LSTM的遗忘门： a经过sigmoid激活函数，变成压到【0,1】，选择性通过，0阻挡！
lstm-结构
shouhuxianjian的专栏
07-26 1271
lstm的结构就不重复废话了，推荐一个简单理解的： [译] 理解 LSTM 网络 这个写的不错，首先从结构上清晰明了的知道了lstm中几个门的作用及操作过程。然而却缺少了矩阵计算级别的结构介绍，也就是今天一直疑惑的，每个门到底是个单神经元还是一层神经元。后面去找原文，也就是第一篇lstm的论文仍未解除心中疑惑，而且其中画的图还没有上面那个好理解。只能求知于tensorflow源码。 1 - 首
Vision-LSTM 项目使用指南
gitblog_00944的博客
08-16 416
Vision-LSTM 项目使用指南 vision-lstmxLSTM as Generic Vision Backbone项目地址:https://gitcode.com/gh_mirrors/vi/vision-lstm 1. 项目的目录结构及介绍 Vision-LSTM 项目的目录结构如下： vision-lstm/ ├── docs/ │ └── ... ├── logs/ │ ...
RNN LSTM GRU Attention transformer公式整理总结（超详细图文公式）
Luoyingfeng的博客
08-11 5605
整理各种模型的公式，以后面试复习用 RNN 公式： ht=f(W⋅[ht−1,xt]+b)h_{t}=f\left(W \cdot\left[h_{t-1}, x_{t}\right]+b\right)ht​=f(W⋅[ht−1​,xt​]+b) LSTM 公式： 遗忘门：ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft​=σ(Wf​⋅[ht−1​,xt​]+bf​)
Pytorch下Vision Transformer（ViT）图像分类实现详解
Vision Transformer模型是近年来兴起的一种新型图像处理模型，其核心思想是将传统Transformer模型应用于图像识别领域，通过将图像划分为多个小块（patches），然后将这些小块作为序列输入到Transformer模型中，实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值