循环神经网络RNN与LSTM

最新推荐文章于 2022-08-18 13:54:45 发布
最新推荐文章于 2022-08-18 13:54:45 发布
阅读量594 收藏
点赞数
文章标签： 神经网络 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Big_Older/article/details/106224009
版权

文章目录

1. 神经网络与循环神经网络

  • 背景: 传统神经网络包括CNN,输入和输出都是相互独立的
    • 图像上的猫和狗是分割开的,但有些任务,后续的输出和之前的内容是相关的
    • “我是中国人,我的母语是__”
  • RNN 引入"记忆"的概念
    • 循环2字来源于其中每个元素都执行相同的任务
    • 但是输出依赖于"输入"和"记忆"
1.1 强大的功能
1.2 层级结构
  • 把序列按时间展开

在这里插入图片描述

  • X t X_t Xt​是时间t处的输入
  • S t S_t St​是时间t处的"记忆", S t = f ( U X t + W S t − 1 ) S_t=f(UX_t+WS_{t-1}) St​=f(UXt​+WSt−1​),f可以是tanh等
  • O t O_t Ot​是时间t时的输出,比如是预测下个词的话,可能是softmax输出的属于每个候选词的概率
  • 可以把隐状态 S t S_t St​视作当前的"记忆体",捕捉了之前时间点上的信息
  • 输出 O t O_t Ot​由当前时间及之前所有的"记忆"共同计算得到
  • 很可惜,在实际应用中, S t S_t St​并不能捕捉和保留之前所有信息(记忆有限)
  • 不同于CNN,这里的RNN其实整个神经网络都共享一组参数(U,V,W),极大减小了需要训练和预估的参数量
  • 图中的 O t O_t Ot​在有任务下是不存在的,比如文本情感分析,其实只需要最后的output结果就行
1.3 多种RNN
  • 双向RNN
    • 有些情况下,当前的输出不只依赖于之前的序列元素,还可能依赖之后的序列元素
    • 比如从一段话踢掉部分词,让你补全
    • 直观理解:2个RNN叠加
  • 深层双向RNN
    • 和双向RNN的区别是每一步/每个时间带你我们设定多层结构

2. LSTM

2.1 长时间依赖问题
2.2 "记忆细胞"与状态

3. LSTM变体

3.1 GRU等

词向量可以体现两个词之间的距离

小白逆袭记
关注
NLP学习—10.循环神经网络RNN与LSTM、GRU、双向LSTM以及基于PyTorch的代码实现
柳杰的博客
08-20 3785
文章目录一、为什么需要循环神经网络？二、RNN的原理三、RNN的类型四、RNN存在的问题五、LSTM/GRU六、Gated Recurrent Unit—GRU七、BI-LSTM八、Deep-BILSTM 一、为什么需要循环神经网络？   虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该
RNN和LSTM循环神经网络
h2728677716的博客
04-13 1024
为什么为需要循环神经网络？ 像DNN这样的神经网络，前一个输入和后一个输入是完全没有关系的，但是某一些任务需要能够更好的处理序列信息（即前面的输入和后面的输入是有关系的） 比如理解一句话的意思时，孤立的理解每个词是不够的，我们需要去处理这些词连接起来的整个序列。 我们一般的做法是用word2vec将词变成向量，再将其传给RNN进行处理。 RNN网络结构 1.RNN有N个时刻的输入，每个输入就相当于每个词的向量。 2.输入经过一个U矩阵全连接，经过隐藏层加和，非线性变换。在经过一个V矩
深度学习_循环神经网络RNN与LSTM
谢彦的技术博客
11-06 3488
循环神经网络（RNN）是一种节点定向连接成环的人工神经网络。具体应用有语音识别，手写识别，翻译等．
深度学习～循环神经网络RNN, LSTM
天狼啸月1990的博客
07-02 2620
problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！
循环神经网络与LSTM网络
kexinxin1的博客
10-26 465
循环神经网络与LSTM网络 循环神经网络RNN 循环神经网络广泛地应用在序列数据上面，如自然语言，语音和其他的序列数据上。序列数据是有很强的次序关系，比如自然语言。通过深度学习关于序列数据的算法要比两年前的算法有了很大的提升。由此诞生了很多有趣的应用，比如语音识别，音乐合成，聊天机器人，机器翻译，自然语言理解和其他的一些应用。 符号说明： 上标[l]: 表示第层...
循环神经网络（RNN&LSTM）
qq_42757191的博客
08-18 6096
循环神经网络（Recurrent Neural Network , RNN）是专门用来处理序列数据的神经网络，它能够挖掘数据中的时序信息以及语义信息。利用了RNN的这种能力，使深度学习模型在解决语音识别、语言模型、机器翻译以及时序分析等NLP领域的问题时有所突破。全连接神经网络在处理序列数据时存在的缺陷：比如在股票预测问题中，股票价格不仅取决于现在的输入数据状态，更依赖于历史信息，这是全连接神经网络所不能做到的。......
深度学习与PyTorch入门实战教程-循环神经网络RNN&LSTM.rar
04-07
循环神经网络RNN&LSTM部分，可能详细讲解了如何设置和训练RNN和LSTM模型，包括数据预处理、模型构建、训练过程和结果评估。通过实例代码，初学者将能够理解如何在PyTorch中实现这些网络，并应用到实际项目中。 学习...
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测
05-03
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测： 数据集： tq.csv记录了某地每隔1小时的气象数据： Date Time：时间（日期是 日月年 的格式） p (mbar)：大气压 T (degC)：气温 rh (%)：湿度 使用循环神经...
深入理解循环神经网络RNN与LSTM模型
"本文主要介绍了循环神经网络（RNN）的基本概念、特点、应用以及存在的问题，并重点讨论了长短期记忆网络（LSTM）作为RNN的改进模型，阐述了LSTM的工作原理和核心机制。" 循环神经网络（RNN）是一种能够处理序列...
Tensorflow实现循环神经网络——基于Fashion Mnist数据集
qq_24819773的博客
03-14 1044
1、循环神经网络简介 循环神经网络主要用于自然语言处理（NLP），应用的一种网络模型，它不同与传统的前馈神经网络（FNN），循环神经网络在网络中添加了定性循环，使信号从一个神经元传递到另一个神经元，并不会马上消失，而是继续存活，也因此得到循环神经网络的名称。 循环神经网络解决方案为：隐藏层的输入不进包括上一层的输出，还包括上一时刻该隐藏层的输出。理论上，循环神经网络能够包含前面任意多时刻的输出...
如何从RNN起步，一步一步通俗理解LSTM
weixin_42692506的博客
07-29 1337
转自https://blog.csdn.net/v_july_v/article/details/89894058 如何从RNN起步，一步一步通俗理解LSTM 前言 提到LSTM，之前学过的同学可能最先想到的是ChristopherOlah的博文《理解LSTM网络》，这篇文章确实厉害，网上流传也相当之广，而且当你看过了网上很多关...
RNN循环神经网络以及LSTM长短期记忆模型-简介
yoyofu007的博客
05-18 4万+
 写给自己的备忘内容：RNN的基础1概述Recurrentneural network，循环神经网络，在普通多层BP神经网络基础上，增加了隐藏层各单元间的横向联系，通过一个权重矩阵，可以将上一个时间序列的神经单元的值传递至当前的神经单元，从而使神经网络具备了记忆功能，对于处理有上下文联系的NLP、或者时间序列的机器学习问题，有很好的应用性。 2、特点、优点优点：模型具备记忆性。缺点：不能记忆太前或...
理解LSTM网络
Deep Learning and NLP Farm
11-16 3488
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
循环神经网络RNN和LSTM
weixin_43907580的博客
07-09 411
循环神经网络RNN笔记RNN(Recurrent Neural Network ModelRNN语言模型举例 RNN(Recurrent Neural Network Model 学习RNN之前，先来看一下普通的神经网络为什么不能用于自然语言模型。 普通神经网络存在两个问题： 训练句子长度不一样，因此神经网络的输入难以统一，不利于建模。 训练句子中无法共享词之间的特征，其次权重矩阵不共享（下面讨论矩阵共享问题），导致参数很多。 因此RNN出现了 先上图： 这张图还是很难理解的，但是，从这张图至少可
LSTM与RNN的比较
热门推荐
张洁的笔记
04-14 5万+
参考博客：[译] 理解 LSTM 网络 之前提到了RNN，也提到了RNN在处理long term memory的时候存在缺陷，因此LSTM应运而生。LSTM是一种变种的RNN，它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 下面来看一些RNN和LSTM内部结构的不同： RNN LSTM ...
RNN与LSTM的区别
MrLittleDog的博客
07-19 4万+
这篇文章简单总结一下RNN与LSTM的区别。 首先，对于基本RNN来说，它能够处理一定的短期依赖，但无法处理长期依赖问题。比如句子The cat, which already ate …, was full.和句子The cats, which already ate …, were full.，两句话的差别在于主语和谓语动词的单复数，由于句子比较长，RNN就无法处理这种问题。那么RNN为什么无法...
循环神经网络（RNN）与LSTM
weixin_37831273的博客
12-09 1885
一、为什么有BP神经网络，CNN，还要有RNN？ 答：(1)神经网络包括CNN,输入和输出都是相互独立的。但有些任务，后续的输出与之前的内容是相关的。 如：“我是中国人，则我的母语是_?” (2)RNN引入了”记忆”的概念，循环是指它的每个元素都执行相同的任务，但是输出依赖于输入和记忆二、RNN的结构 从左边的图可以看出来，X是输入，O是输出，W执行的是循环的操作，循环的更新。我们可
【NLP】CNN、RNN与LSTM（转）
Ezrealmore
08-30 8221
神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。（扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…） 但是，Rosenblatt的单层感知机有一个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值