Recurrent Neural Network and LSTM(循环神经网络与长短期记忆详解)

最新推荐文章于 2023-04-09 21:54:51 发布
最新推荐文章于 2023-04-09 21:54:51 发布
阅读量406 收藏 3
点赞数 1
分类专栏： 人工智能理论 文章标签： 人工智能 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ygp12345/article/details/108968288
版权

文章目录

为什么要用RNN

slot filling指的是槽填充，比如说现在有一个智能票务系统，用户告诉机器我几月二号去台北，那么机器只需要读出Taipei和November 2nd即可，这就是槽，然后其余的程序已经写好，机器只需识别出这两个关键信息填入已写好的模板程序中，相当于完形填空。
在这里插入图片描述那么解决slot filling问题能用DNN吗？如下图，我们将Taipei向量化输入，但是该DNN可能只能告诉我们是不是Taipei，其他信息并不能告诉我们。
在这里插入图片描述
如下图，我们可以看到输出结果是slot的概率。

在这里插入图片描述但是，如果光看地名和时间，我哪知道客户是要离开还是到达？所以神经网络需要记忆，所以才有了RNN，如下图：
在这里插入图片描述

如何用向量去代表单词

每一维代表了一种单词。
在这里插入图片描述
在这里插入图片描述

Recurrent Neural Network (RNN)

RNN基本原理

我们需要一种带有记忆的神经网络！！如下图，hidden layer的输出被存放在memory里
在这里插入图片描述
举个例子，这两个memory的初始值都是0，然后所有的w都是1，没有b，然后激活函数都是线性函数(为了简单说明)。这时，输入一句话，我们把这句话的单词分别转化成向量。第一个向量1x1+1x1=2，这时两个绿色神经元的输出就是两个2，然后分别放入memory里；然后将这两个memory的值取出作为红色神经元的输入，就是2x1+2x1=4，这时两个红色神经元的值就是4了；
在这里插入图片描述
然后来看第二个向量，这时输入有四个，还要算上memory的，所以就是1x1+1x1+2x1+2x1=6,这时绿色神经元的输出就是6，然后分别存入memory，然后再6x1+6x1=12;

在这里插入图片描述
再看第三个向量，这时memory里的值是6，所以就有2x1+2x1+6x1+6x1=16;这时绿色神经元就是16了，然后存入memory里，并且红色神经元为16x1+16x1=32;注意，我们改变单词在句子中出现的位置也会得到不同的输出。
在这里插入图片描述同一个神经网络循环使用，如下图，比如arrive是向量x1，然后输出是y1,输出就代表某一个词出现的概率，然后在每一次训练都更新memory里的向量，并且将该memory向量与下一个单词的向量共同作为输入传给神经元，下面这张图很容易看懂。
在这里插入图片描述如下图，我们来看看两种Taipei有什么不一样？他们依赖于前一个单词，因为前一个单词不同导致memory里的值不同，所以导致最终的预测结果不同。
在这里插入图片描述当然，RNN的结构也可以叠加很多层！！

在这里插入图片描述

其他RNN

上述我们讨论的其实就是Elman Network。然后下图还有一个Jordan Network，这个是将每一个单词的最终的memory作为下一个单词的初始值，而Elman Network是横向的，看看上图就知道了。
在这里插入图片描述双向RNN可以使该network知道整个句子的情况，如下图所示，正向反向的单词情况都知道。
在这里插入图片描述

训练RNN遇到的难题

我们可以给每个单词设置一个target，arrive与on这类词设置的target为other，Taipei为dest，November 2nd为time，然后将每个单词训练的结果用向量表示。
在这里插入图片描述那么如何找到一个靠谱的w？当然也是用梯度下降，这里也是用的反向传播，只不过使用的升级版，也就是通过时间的反向传播算法。

在这里插入图片描述不幸的是，RNN的loss不稳定，可能会爆裂，下图蓝色曲线是我们所期望的，但是绿色曲线是真实的。
在这里插入图片描述我们来建一个三维坐标看看w1，w2与loss之间是个什么情况？如下图，我们发现loss在某些位置直线上升！！看橙色的点，开始梯度下降很小，学习率很小，但是可能到悬崖上瞬间梯度变大，学习率变大，然后就飞出去了。然后在某些平滑的地方又有可能出现梯度消失。
在这里插入图片描述为什么会有这样的事发生？举个例子，如下图所示，假设第一个memory里的值为1x1=1，然后作为输入，那么第二个memory里的值就是1xw+0x1=w,然后同理，第三个memory里的值为wxw+0x1=w^2,以此类推，第1000个memory的值为w的99次方。那么当w为1时，y1000的值为1，当w为1.01时，y1000就变成了20000，但是当w为0.99时，y1000就变成了0，我们可以看到，做了一点点变化就会可能会导致后面的结果变化巨大。
在这里插入图片描述

解决问题

用LSTM可以解决梯度消失，因为RNN的memory是每一次都被洗掉重新赋值，而LSTM是将输入与memory里的值相加，也就是每次将新的变化加进来，然后相加后的这个值的影响会永远存在，除非forget gate被使用。然后GRU比LSTM更简便，只有两个gate，所需要的参数也越少，不容易过拟合。
在这里插入图片描述
在这里插入图片描述

LSTM

基本结构

下面我们来介绍一种可以处理RNN梯度消失的模型，此模型是LSTM，中文名长短期记忆模型，顾名思义，让RNN具有较长时间的短期记忆。(该模型不能处理梯度爆炸)。下图是这个模型的基本结构，有三个开关，分别是输入开关，输出开关，忘记开关(控制该模型是否遗忘memory的值)

在这里插入图片描述激活函数我们通常用sigmoid，因为它的值在0和1之间，可以模仿开和关。

在这里插入图片描述

LSTM手动操作案例

下面有一句话，我们把它搞成9个三维向量，其中当x2=1时，将x1的数字存入到memory里，当x2=-1时，将memory清空，当x3=1时，将memory的值输出。
在这里插入图片描述根据上一张图，我们来手动模拟一下每一个向量的步骤：如下图，为了说明方便，我们有两个激活函数换成Relu。然后memory里的初始值是0，，输入向量(1,0,0)，偏置为1，然后经过Relu之后，为1，然后来看input gate，将(1,0,0)于偏置代入，结果为-10，再经过sigmoid函数，就约等于0了，然后该输入开关关闭，刚刚得到的1就不管了。
在这里插入图片描述然后来看第二个向量，(3,1,0)与偏置1，这时经过第一个Relu的值为3，然后来看输入开关，得出的值约为1，然后3x1=3，然后来看忘记开关，忘记开关约为1，说明可以忘记了，于是就把原始的0忘掉，并且改为新的值3，但是输出开关的值约为0，不允许3输出，然后就只能输出0了.
在这里插入图片描述再看第三个向量，输入(4,1,0)与偏置1，得到4，然后看输入开关，为1，相乘得4，然后看忘记开关，约为1，然后将memory更新3+4=7，然后输出开关又为0，所以输出为0
在这里插入图片描述同理。。。。。
在这里插入图片描述同理。。。。。
在这里插入图片描述同理。。。。。
在这里插入图片描述

LSTM与神经网络的联系

LSTM取代了神经元
在这里插入图片描述我们用不同的颜色表示不同的w
在这里插入图片描述然后我们输入xt这个向量，然后用这个向量分别与四个不同的矩阵相乘，得到四个不同的向量，这四个向量的作用是控制三个那开关和输入向量，请仔细看LSTM的结构图，有四个入口，正好对应四个向量。
在这里插入图片描述
在这里插入图片描述

LSTM遇到的难题

太复杂！！！会有优化措施！！
在这里插入图片描述在这里插入图片描述

More Applications(本节大致看一下就行了，之后会针对每一个应用详细说明)

之前我们用RNN来搞slot filling时，一句话的每一个词都有相应的输入和输出，那么RNN还能不能做其他事呢？
在这里插入图片描述

Many to one

如下图,我们在对一些电影评论做分析时，我们的输入是一句话(很多单词组成)，但是我们的输出只需要只需要好评还是差评。
在这里插入图片描述
我们来看看大致流程，输入一个向量序列，但是输出只有一个向量。

在这里插入图片描述

Many to Many

输入和输出都是向量序列，但是输出要更短一些。比如说语音识别，输入是一串向量，将结果经过trimming(去重)处理后，得出"好棒"这个序列。那么我要得到好棒棒呢？
在这里插入图片描述
我们需要CTC这个技术，增加一个额外的标识代表null，如下图所示：
在这里插入图片描述CTC在训练的时候穷举所有情况进行输入。
在这里插入图片描述下面举了一个输出的例子：
在这里插入图片描述再举一个例子，输入和输出都是不同长度的序列，然后我们来做一下机器翻译，我们使用RNN去做，先是将machine转化为向量作为input，然后结果记录在memory里，然后将memory与learning作为下一个神经元的输入，如下图，这时第二个神经元就包含了所有输入序列的信息了。
在这里插入图片描述然后我们将第二个神经元吐出一个机字，然后将当前memory和这个机字转换的向量作为下一个神经元的输入，然后下一个神经元吐出一个器字，以此类推，但是你会发现这样做下去没完没了。
在这里插入图片描述这时我们就需要一个标识来作为整个过程的结束，就像游戏接龙推文一样。
在这里插入图片描述如下图，我们增加一个symbol标识结束。
在这里插入图片描述在翻译的时候，我们可以将一种语言翻译成另一种语言，但是如果我们直接将一种语言的声音讯号翻译成另一种语言的文字，中间跳过语音辨识，这也是可以的，如下图所示：
在这里插入图片描述

Other Application

我们还可以将RNN用于语法解析，我们可以将一棵语法树变成序列，如下图所示：
在这里插入图片描述 如下图，单词的顺序会使整个序列表达的意思不同，如下图所示：

在这里插入图片描述那么，我们利用RNN可以采取下图所示方法来表示该序列的信息是否是重要的，我们将序列里的每个单词和memory作为输入，所得到最后一个memory的值我们称为encode，然后我们将这个encode作为输入，这个encode就包含了序列所有信息，然后我们对它进行解码decode，解出来的东西越接近原始的序列说明该序列所表达的意思越重要。
在这里插入图片描述下图是用了LSTM的升级版！！
在这里插入图片描述 如下图，语音辨识我也可以用上述类似的思路：
在这里插入图片描述我们将数据库里的语音信号向量化，然后将采集的声音也向量化，然后与数据库里的比对！
在这里插入图片描述我们将一段声音讯号分段，然后转化为若干声音向量，然后传入RNN，整个RNN就可以看成是encoder，然后最后一个时间点的神经元里存储了所有的声音信息。

在这里插入图片描述我们将最后一个时间点的memory作为输入，输入到RNN decoder里，如下图所示，每一个神经元输出的值，例如y1，如果与x1接近，说明结果很好，当所有的都接近，说明success了。
在这里插入图片描述
在这里插入图片描述

ygpGoogle
关注
专栏目录
循环神经网络（Recurrent Neural Network）的数学基础 Understanding the Math Behind Recurrent Neural Networks
程序员光剑
08-27 450
作者：禅与计算机程序设计艺术 1.简介 在本系列教程中，我们将会详细地探索循环神经网络（Recurrent Neural Network）的数学基础。在开始学习之前，需要对以下几个知识点有一个大概的了解： 对循环神经网络（Recurrent Neural Network，简称R
本文选取两个经典的计算机视觉算法——卷积神经网络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）
程序员光剑
08-15 1297
人工智能和计算机视觉已经成为今天信息时代的新舞台。越来越多的研究人员、工程师和科技公司都在致力于利用机器学习、深度学习技术，解决深度学习领域中的图像识别、目标检测、语音识别等关键任务。PyTorch是目前最流行的Python机器学习框架，它允许开发者高效地构建、训练和部署各种深度学习模型。本文将基于PyTorch实现一些高级计算机视觉算法，帮助读者了解机器学习和深度学习技术。理解深度学习的基本概念；熟练使用PyTorch进行深度学习编程；了解深度学习模型的设计方法、调优过程及其收敛性；
LSTM(循环神经网络RNN)dropout技术——Recurrent Neural Network regularization阅读笔记
热门推荐
Blssel的博客
07-20 1万+
Recurrent Neural Network regularization 简单回顾LSTM 照例先规定符号含义，我们此处默认指多层RNN网络。规定hlt∈Rnhtl∈Rnh^l_t\in{R^n}表示第lll层ttt时间步的因状态，维度为n,当l=0l=0l=0时，h0tht0h^0_t表示ttt时刻的外部输入；因为LSTM网络中使用全连接网络作为常规操作，全连接的数学表达为Wx+b...
RNN & LSTM（Recurrent Neural Network）
学习 & 分享 ~
06-02 735
RNN RNN 有很大的灵活性，可以用于： one to one（Vanilla Neural Network） one to many（Image Captioning 看图说话）image -> sequence of words many to one（Sentiment Classification 情感分析）sequence of words -> sentiment ma...
循环神经网络(Recurrent Neural Network, RNN)与LSTM
公众号：瑞行AI
08-31 725
深度学习神经网络算法发展顺序RNN处理的是一种时间序列数据，它处理的问题中，前后数据间不是互相独立的，前一次决策会影响后一次决策RNN可以保持序列的“记忆”信息，通过之前的信息决策当前的问题看了上图对RNN根本没什么理解，今天读到了七月一篇RNN文章，解释非常到位，地址如下：https://mp.weixin.qq.com/s?__biz=MzI4MTQ2NjU5NA==&mid=2247...
RNN(Recurrent Neural Networks)和LSTM
以笔为剑的唐吉坷德
01-19 1089
RNN是目前NLP中很火的神经网络，也是需要掌握的一种神经网络。可以在BPNN的基础上来学习RNN 以上是RNN的定时循环， 用来处理输入之间前后关联的问题。 传统神经网络并不能做到思考的持久性，这是一个巨大的弊端。而RNN关注于此。 RNN可以看作是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个，以下是循环的展开： LSTM是RNN中非常重要的一种变形，几乎所
LSTM_MY_updata_to_precise_LSTM_循环神经网络_长短期记忆.zip
10-11
LSTM是一种特殊的循环神经网络（Recurrent Neural Network, RNN），设计用于处理序列数据中的长期依赖问题。 在传统RNN中，由于梯度消失或爆炸的问题，模型往往难以捕捉到长期的上下文信息。LSTM通过引入门控机制来...
LSTM_MY_updata_to_precise_LSTM_循环神经网络_长短期记忆_源码.zip
09-30
本压缩包“LSTM_MY_updata_to_precise_LSTM_循环神经网络_长短期记忆_源码.zip”（实际文件为rar格式）包含了与LSTM相关的源代码，这为我们提供了一个深入理解并实践LSTM模型的绝佳机会。 首先，让我们来深入探讨...
循环神经网络（Recurrent Neural Network）
weixin_45540546的博客
11-17 638
RNN是最常用的LSTM（LSTM由RNN转化而来）一般般用于记住之前的状态，以供后续神经网络的判断，它由input gate 、forget gate 、output gate 、和cell memory组成，每个LSTM本质上就是一个神经元，特殊之处在于有4个输入：zzz和三个门控制信号zi,zf,zoz^{i},z^{f},z^{o}zi,zf,zo 组成 ，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成 槽填充 在智能客服、智能订票系统中，往往需要槽填充技术，他
LSTM Recurrent Neural Networks for Short Text and Sentiment Classication文章阅读笔记
weixin_38442365的博客
03-11 435
一、文本预处理1、删除所有符号，例如:%2、所有数字用例如'SPEC——NUM'来代替3、为数据集创建词典二、词向量化采用one-hot来表示单词三、词典大小不需太大，原文中的词典大小是9000四、数据集样本数不平衡原文中Bad和Neutal类的样本数远远少于Good分类，因此将Bad和Neutral的样本数扩大了一倍四、LSTM、BLSTM、GRU对比 it has been shown in ...
循环神经网络(RNN)与长短期记忆模型(LSTM)
qq_43602667的博客
04-09 1198
RNN循环神经网络、LSTM长短期记忆模型
每天学一点之Python100例（35~36）
shishanqing920610的博客
06-30 217
每天学一点，形成一种知识复利问题35：单链表类的实现分析：第一个循环逐步建立起一个链表，结点元素取整数1到10的值， 第二个循环输出表中各结点的元素值。demoCode:#! /usr/bin/python3def main(): llist1 = LNode(1) p = llist1 for i in range(2,11): p.next = LNode(i)...
LSTM层中的dropout，recurrent_dropout
mailin2008的专栏
06-29 9981
https://www.zhihu.com/question/304757225/answer/1152308274
All of Recurrent Neural Networks (RNN)
omnispace的博客
11-01 1215
— notes for the Deep Learning book, Chapter 10 Sequence Modeling: Recurrent and Recursive Nets. Meta info: I’d like to thank the authors of the original book for their great work. For brevity, the
循环神经网络_门控和长短期记忆循环神经网络
weixin_39558391的博客
12-18 1775
长短期记忆（Long Short-Term Memory，LSTM）网络是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。门控循环单元（gated recurrent unit，GRU）是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流行的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题....
双向长短期记忆网络模型_一种基于双向长短期记忆网络的定位修正方法与流程...
weixin_30840919的博客
02-11 1480
本发明属于行人导航定位修正领域，具体涉及一种基于双向长短期记忆网络的定位修正方法。背景技术：近些年来，随着室内定位技术的不断发展，很大程度弥补了类似gps等利用卫星信号进行定位而卫星信号穿透力较差导致室内定位不精确的问题。现有的室内定位技术大部分都利用已有的信号源进行高精度定位，如wi-fi信号定位技术，uwb定位技术等。但是现有技术存在以下问题：但是，由于利用惯性元器件进行定位过程中需要使用二次...
NLP系列之LSTM网络
anapple00的博客
04-18 705
导读 LSTM是一个非常经典的RNN模型，它在普通的RNN基础上加入了若干个参数，改成了能把很久之前记忆的量都加了进来，本文就以Colah大神的原文谈一下我的个人理解，希望看完之后对你有帮助。 本文一共分为4个部分： 循环神经网络RNN的由来； 传统RNN结构的缺点以及LSTM的引入； LSTM网络的结构特点以及公式推导； LSTM的一些变形； 一、循环神经网络RNN的由来 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的
CS224n-08 Recurrent Neural Networks and Language Models
Thinking data
03-27 539
08 Recurrent Neural Networks and Language Models
循环神经网络与长短期记忆网络对比
最新发布
08-13
循环神经网络（Recurrent Neural Networks, RNNs）是一种特殊的神经网络结构，专为处理序列数据而设计，比如文本、音频或时间序列数据。它们的特点在于每个神经元都有自反馈连接，允许信息在网络内部随时间传递，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值