NLP学习15_RNN、LSTM

最新推荐文章于 2024-07-27 10:39:13 发布
最新推荐文章于 2024-07-27 10:39:13 发布
阅读量502 收藏 1
点赞数
分类专栏： nlp 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TimEcho/article/details/106312477
版权

RNN

CV中对图片的处理，我们可以把图片理解为一个静态数据
而比如股票、天气、语音、文本等，都是随时间在变化的数据，叫做时序数据，
要处理这些变化的数据，需要RNN这种可以处理时序数据的模型，
不同人说“你好”的时长也不一样，所以RNN也可以处理不同时长的数据
在这里插入图片描述
原始的RNN模型：存在梯度爆炸和消失问题，所以推出了LSTM
原理：每个时刻都有一个输入，每个输入都会得到一个中间的表示h，在第二个时刻的h表示会使用到第一个时刻的h
最后每一时刻输入都会产生预测y，并计算出损失
在这里插入图片描述
RNN和HMM区别
HMM中对于状态的表示是使用one-hot，是稀疏的表示，比如6维的向量只能表示6中不同的状态，
而在RNN中，状态的表示采样分布式表示，向量中的值都是学习得到的，可能6维向量就可以表示100中状态
在这里插入图片描述
在语言模型中，
比如有句子s，要通过语言模型来计算概率p(s),也就是计算句子单词的联合概率，联合概率又可以写成连乘概率的形式
也就是要通过前边词来预测接下来词
在这里插入图片描述
构建一个语言模型来预测句子接下来是什么单词
首先将单词的one-hot表示形式经过一个embedding部分转换成词向量的表示形式x，然后得到预测结果预测下一个单词
在这里插入图片描述
RNN是在不同时间输入不同的单词，所以在时间维度上，它是一个深度模型。
而在隐式层，如果我每个单词都是经过多层的处理，那么也是一个深度模型。
所以这是从两个方面去看RNN，都是深度模型，这与CNN是有区别的
在这里插入图片描述

RNN的梯度爆炸和梯度消失

RNN中反向传播是沿着时序方向的，BPTT：BP Through Time。
其实就是有最终计算出的损失值，要计算梯度并反向传播，比如计算组中的损失loss对h1的梯度，那么我要考虑到中间h2、h3、h4的梯度
通过一个链式法则的推导可以求得loss对h1的梯度
在这里插入图片描述
在计算梯度的时候，因为计算loss对h1的梯度是考虑中间项的梯度的，也就是中间梯度的一个连乘,
那么，如果中间很多项的范数是小于1，那整个的乘积就会非常小，导致到达h1的梯度就不存在了。h1 = 0.10.10,1*,
如果中间很多范数大于1，那整个的乘积会变得非常大，导致h1的梯度爆炸.h1 = 1.11.11.1*…
在这里插入图片描述

gradient clipping

解决梯度爆炸问题：当梯度超过某个阈值时，进行归一化的操作，乘以阈值除以范数
在这里插入图片描述

LSTM

LSTM和RNN流程没区别，只是在计算每个h时，LSTM内部加了三个控制开关:forget gate、input gate、output gate
通过这三个门的开关来选择性地保留之前文本的信息，这样可以解决梯度爆炸和消失的问题，可以处理更长的文本数据。
但是并不是说使用了这个模型就可以保证不出现梯度爆炸和消失问题。
在这里插入图片描述
应用场景
第一个没有使用时序的模型，所以不是RNN，没有时序信息。这种更适合于处理图像，对图像进行识别或者分类
第二个适用于看图说话，输入图像，然后输出文本
第三个多输入，一个输出，适用于情感分析
第四个适用于机器翻译
第五个 适合于NER
在这里插入图片描述

参考博客

在这里插入图片描述

Bi-directional LSTM

在LSTM基础上，增加了反向的计算过程，这样一个h的计算表示是综合上下文得到的

在这里插入图片描述
在下边这个实验中，可以看出使用双向的LSTM会学到文本中的更多关键信息，效果优于RNN、LSTM
在这里插入图片描述

GRU

提出时间晚于LSTM
比LSTM简单，效果差不多，计算过程少于LSTM，所以计算速度更快
包含：update gate、reset gate
在这里插入图片描述

乐七_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
class6_LSTM_pythonLSTM_python实现的LSTM长短时记忆网络_RNN_gru_
10-03
总结，LSTM和GRU是深度学习中用于序列数据的强大工具，特别是在自然语言处理、音频识别等领域。使用TensorFlow 2.x，我们可以轻松地在Python环境中实现和训练这些模型，以解决实际问题。在实践中，根据具体任务和...
（通俗易懂）RNN及LSTM
qq_43703185的博客
09-07 5519
原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blo
深度学习～循环神经网络RNN, LSTM
天狼啸月1990的博客
07-02 2503
problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！
聊聊RNN&LSTM
最新发布
2401_85327249的博客
07-27 513
用于解决输入数据为，序列到序列(时间序列)数据，不能在传统的前馈神经网络(FNN)很好应用的问题。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度，即输入内容的上下文关联性强。
循环神经网络（RNN）与长短时记忆网络（LSTM）
qq_33578950的博客
04-07 4223
循环神经网络（RNN）是一种用于处理序列数据的神经网络，它具有时间递归的结构，可以将前一个时间步的输出作为当前时间步的输入。RNN在自然语言处理、语音识别、时间序列预测等领域有广泛应用。但是，RNN存在梯度消失和梯度爆炸等问题，这使得RNN在处理长序列时效果不佳。长短时记忆网络（LSTM）是一种改进的RNN，它能够解决RNN存在的梯度问题。LSTM引入了门控机制，可以选择性地忘记、保存或读取信息，使其在处理长序列时具有更好的表现。在本文中，我们将深入探讨RNN和LSTM的原理和实际应用，并提供代码示例。
RNN
热门推荐
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
深度学习——RNN与LSTM简介
johnny_love_1968的博客
06-17 4131
深度学习——RNN与LSTM 文章目录深度学习——RNN与LSTM一.序列模型二. RNN1. 为什么用RNN2. RNN简介3. 双向RNN三.LSTM1. 一般RNN存在的问题2. LSTM简介2.1 LSTM单个单元是如何运作的？2.2 LSTM网络3. LSTM为什么能解决梯度问题？ 一.序列模型 所谓的序列模型，是指：按照时间顺序，顺序发生的东西，这些东西，都可以统称为“序列模型”。比如说，我们听的音频，我们说的语言。对应到机器学习当中，可以是：音频生成，机器翻译，自然语言处理等等。这些模型都可以
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
09-30
BiLSTM与传统的LSTM相比，增加了反向传播的时间序列处理，能够更好地捕获序列数据中的前后依赖关系，尤其在自然语言处理、文本分类和序列标注等任务中表现出色。LSTM（Long Short-Term Memory）是一种特殊的循环神经...
wangluoxunlian_LSTM_RNN_lstm代码_
09-29
可供与初学者学习"，这意味着压缩包中包含的代码旨在帮助初学者理解和应用RNN和LSTM模型，这些是深度学习领域中用于处理序列数据的常用模型，尤其在自然语言处理（NLP）、语音识别和时间序列预测等领域。 **RNN与...
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM.zip
10-10
这个压缩包可能包含了实现这两种RNN变种的Python源码，可能用于自然语言处理（NLP）任务，如文本分类、情感分析、机器翻译或序列标注等。 **LSTM（长短期记忆网络）** LSTM是一种特殊的循环神经网络（RNN），设计...
paddle_RNN_LSTM(3).zip
12-31
在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）是一种强大的序列建模工具，尤其适合处理时间序列数据，如自然语言处理中的文本序列。PaddlePaddle是中国自主研发的开源深度学习平台，它提供了丰富...
NLP学习—10.循环神经网络RNN与LSTM、GRU、双向LSTM以及基于PyTorch的代码实现
柳杰的博客
08-20 3751
文章目录一、为什么需要循环神经网络？二、RNN的原理三、RNN的类型四、RNN存在的问题五、LSTM/GRU六、Gated Recurrent Unit—GRU七、BI-LSTM八、Deep-BILSTM 一、为什么需要循环神经网络？   虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该
如何从RNN起步，一步一步通俗理解LSTM
weixin_42692506的博客
07-29 1278
转自https://blog.csdn.net/v_july_v/article/details/89894058 如何从RNN起步，一步一步通俗理解LSTM 前言 提到LSTM，之前学过的同学可能最先想到的是ChristopherOlah的博文《理解LSTM网络》，这篇文章确实厉害，网上流传也相当之广，而且当你看过了网上很多关...
【深度学习】RNN循环神经网络和LSTM深度学习模型
Luo_LA的博客
09-27 1734
RNN memory里面的值每一次都会被清空，而LSTM 里面的 memory 是一直被叠加的，除非忘记门被关闭的时候才会清空。这里的门可以理解成为一个激活函数，这个激活函数通常是 sigmoid 函数，因为经过 sigmoid 函数的值在0和1之间，用来控制门的关闭和打开。循环神经网络的一个核心是可以把前面的序列数据用到后面的结果预测里面。第一，前部序列信息在传递到后部的同时，信息权重下降，导致重要信息丢失。求解过程中梯度消失。在最小化损失函数的过程中，会遇到梯度突然剧烈抖动的情况，从而导致参数丢失。
循环神经网络--传统RNN、LSTM循序渐进的通俗易懂解释
杨森彬
05-07 2166
https://pan.wps.cn/l/sKeQ9Acce?f=101 [文件] RNN(循环神经网络)_个人总结版.docx
二、循环神经网络（RNN与LSTM）
Icarus_的学习笔记
12-08 1万+
一、NLP基础 1、常用的神经网络模型 在做深度学习或者是人工智能相关的任务中。一般来讲，我们常用的网络模型有三种，第一种卷积神经网络。实际上也是前馈神经网络的一种，它主要包括这个点。地上。那么一般来讲呢，我们是拿这个准地心的网络来做一些跟图像相关的一些事情，比如说我们来做一个图像上市，比如说有一个说给一张老张片。 1.1 卷积神经网络(Convolutional Neural Network,CNN) 是一种前馈神经网络， 它包括卷积层(convolutional layer) 和池化层(poo
【深度学习】RNN与LSTM
Mankind的博客
03-13 683
文章目录循环神经网络RNN双向RNN 循环神经网络RNN   Recurrent Neural Network是一种有记忆力的神经网络。为什么说有记忆力呢？因为它的隐藏层输出会被保存起来，在下一次计算隐藏层输出的时候，会考虑到先前保存的值。   对于普通的BP神经网络，第k层的隐藏层的输出是 ak(x)=wkx a_k(x)=w_kx ak​(x)=wk​x   对于RNN循环神经网络来说，第k层...
在 TensorFlow 上使用 LSTM 进行情感分析
chuange6363的博客
09-10 952
你可以从 Github 上面下载到所有的源代码。 在这篇教程中，我们将介绍如何将深度学习技术应用到情感分析中。该任务可以被认为是从一个句子，一段话，或者是从一个文档中，将作者的情感分为积极的，消极的或者中性的。 这篇教程由多个主题组成，包括词向量，循环神经网络和 LSTM。在了解...
【NLP5-RNN模型、LSTM模型和GRU模型】
weixin_34280060的博客
03-18 1352
RNN（Recurrent Neural Network)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响根据反向传播算法和链式法则，梯度的计算可以简化为以下公式Dnσz1w1∗σz2w2∗σznwnDn​σz1​w1。
深度学习序列模型：RNN, LSTM, GRU
序列模型是深度学习中的一个重要概念，尤其在处理时间序列数据和自然语言处理任务时发挥着关键作用。本课程主要关注循环神经网络（Recurrent Neural Networks, RNN），包括其不同变体和应用。RNN是一种能够处理序列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值