LSTM的介绍包含与simpleRRN的区别与联系

最新推荐文章于 2024-08-16 18:13:47 发布
最新推荐文章于 2024-08-16 18:13:47 发布
阅读量614 收藏
点赞数 1
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_42239797/article/details/119761334
版权

RNN
我们知道,RNN是在有序的序列中学习的，为了记住这个数据，RNN会像人一项样产生相关记忆，在反向过程中存在参数W，由于参数W的大小，当参数W为一个零点几的数是，经过无数次的循环，最后反馈得到的梯度可能为零，也就是经常说的梯度消失；但如果W是一个一点多的数据，多次之后就会成为一个万亿大的数，这就是通常说的梯度爆炸。在这里插入图片描述
后来的simpleRRN采用一个tanth函数，将数据转化为负一到正一之间的数据。
在这里插入图片描述
但RNN还有一个问题，就是短期记忆，导致之前的数据被遗忘，为了解决被遗忘和梯度消失的问题，产生了LSTM，LSTM存在四个参数矩阵，利用传输带避免梯度消失问题，可以有更长的记忆。
我觉得B站有个同学讲的很详细，具体的情况大家可以参考，内容不长，讲的很细致。https://www.bilibili.com/video/BV1fp4y1t7Xb?p=2
推荐给大家

cdy艳0917
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
一文搞懂RNN和LSTM
与或
08-03 498
RNN和LSTMRNNRNN基本概念RNN的其它变形LSTM理论基础运行过程（硬核）最终模型 RNN 为了引入RNN ，我们要举的例子是Slot Filling Slot Filling：你的系统要自动的知道这边的的每一个词汇，它属于哪一个slot 这个问题怎么解呢？ 这个问题当然也可以用一个Feedforward 的neural network来解。 input就是一个词汇，把词汇丢到这个neural network里，需要先把它变成一个vector（方法有很多） 。 但是光这样是不够的，没有办法so
Model LSTM
Poo_Chai的博客
10-30 450
其他参考： LSTM Networks应用于股票市场探究 ***** LSTM模型在问答系统中的应用 *** 最全 LSTM 模型在量化交易中的应用汇总（代码+论文）*** 分享一下你所了解到的LSTM/RNN的应用Case?*****（含有各种具体应用场景） In atraditionalrecu...
RNN, LSTM, GRU, SRU, Multi-Dimensional LSTM, Grid LSTM, Graph LSTM系列解读
Sundrops的专栏
03-13 1万+
RNN/Stacked RNN rnn一般根据输入和输出的数目分为5种 1. 一对一 最简单的rnn 2. 一对多 Image Captioning(image -> sequence of words) 3. 多对一 Sentiment Classification(sequence of words -> sentiment) 4. 多对多: 时序不齐 Machi...
RNN以及LSTM的介绍和公式梳理
热门推荐
DarkScope从这里开始
07-25 29万+
前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文字等应用，都让人感
简易理解RNN与LSTM
Hungryof的专栏
01-09 4978
总说 这篇主要是如何一步步说明RNN和LSTM的形式的构造，方便对模型有一个更直观的理解。写的比较随意。 RNN 我们知道，卷积是一个输入，得到一个输出。但有时候我们想输出一串，然后得到一串输出呢？并且是这一串都是相互有关联的，比如句子翻译。我们就需要一种能针对历史信息进行融合的单元，比如RNN。其实想想，只要以某种形式，将历史信息与当前输入进行有效融合的方式，应该都可以处理类似的问题。
【DL】Transformer与LSTM的区别和联系
墨门
01-27 3336
Transformer和LSTM的最大区别,就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；Transformer从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的；LSTM的基本思想是时序模型，也就是说，在。
多层LSTM,多层lstm与单层lstm区别,Python
09-10
使用的RNN中的LSTM进行对28个英文字母的简单文本预测
lstm的概要介绍与分析
07-11
2. **门机制**：LSTM包含三种不同类型的门来控制信息如何流入、流出单元状态，以及哪些信息应该被遗忘。 - **遗忘门**（Forget Gate）：决定了哪些信息应该从单元状态中移除。它基于前一时刻的状态和当前时刻的输入...
lstm与arima算法比对1
08-08
标题中的“lstm与arima算法比对1”是指对两种不同的时间序列预测算法——LSTM（长短期记忆网络）和ARIMA（自回归积分滑动平均模型）进行比较和分析。这两种算法在处理时间序列预测问题时各有优劣，适用于不同的场景...
Keras系列之LSTM和GRU实践
Findingxu的博客
01-29 1万+
作者：《python深度学习》学习笔记，用于自己熟悉和理解   目录 1. LSTM实践     2.GRU实践 3.循环神经网络的高级用法 3.1 循环 dropout（recurrent dropout） 3.2 堆叠循环层（stacking recurrent layers） 3.3 双向循环层（bidirectional recurrent layer） 3.4 更多尝试...
LSTM：对比标准RNN
ShellDawn的博客
03-14 533
RNN，recurrent neural network LSTM，long short-term memory network LSTM隐藏层激活函数，通常使用tanh函数。 输出层使用softmax函数。 RNN反向传播算法，back-propagation through time LSTM可以学习长期依赖信息，增加遗忘门，输入门，输出门。 具体见： https://www.cnblogs....
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1080
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 3279
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
AI赋能软件测试：从自动化到智能化，让测试工作事半功倍
m0_64146991的博客
08-15 326
APP端测试，专项测试，测试工具
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 873
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
阿里推出视频 AI 生成式框架 Tora，通过轨迹生成视频
qq_57728300的博客
08-13 633
阿里集团推出面向轨迹的视频生成框架 Tora，可以生成精美的视频。
Denosing && RayDN-对同一射线的误检测优化
最新发布
zisuina_2的博客
08-16 375
Denosing操作理解DN-DETR增加denosing操作，帮助快速拟合，提高了目标检测任务中的效率和精度。通过这种方式，DN-DETR 克服了原始 DETR 的一些限制，使其在实际应用中具有更好的性能和鲁棒性。GTBoxes通过随机偏移H, L,W进行偏移，当中心点x,y的偏移都>L/2,W/2会将label设置为num_class，也就是负样本，会对GTBoxes重复n次组成n=10。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值