GRU & LSTM(李沐 && 李宏毅)

最新推荐文章于 2023-09-03 16:17:14 发布
最新推荐文章于 2023-09-03 16:17:14 发布
阅读量861 收藏
点赞数
分类专栏： 神经网络 文章标签： lstm gru 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A13526_/article/details/129724927
版权

GRU

知识点

  • RNN处理不了太长的序列；（其把所有的序列信息都放到隐藏状态里面，当事件长了以后，隐藏状态累计太多东西，对于前面很久前的信息可能不那么好抽取出来）
  • 观察值不是同等重要（现实生活中）- 同样的序列中；重要的几个点

关注一个序列

  • 之前的RNN机制没有说特别关心某个地方，特别不关心；之前都是直接一个序列进去
  • 不是每个观察值都是同等重要的
  • 对于GRU其是使用门控制来看看哪一块比较重要，哪一块没那么重要
  • 门：更新门（这个信息比较重要；能关注的机制）；重置门（信息不重要，能遗忘的机制）

在这里插入图片描述
为什么是Xt而不是Xt-1：因为是当前时间输入的字，与前一时间的隐状态结合

**候选隐藏状态：**就是用它来生成我们真正想要的隐藏状态

在这里插入图片描述
隐状态（真正的）
在这里插入图片描述
总结：（引入了两个门；多了可学习权重）
在这里插入图片描述

实现（基本同RNN）

  • def three()： 函数
    在这里插入图片描述

LSTM

  • 忘记门：将值朝0减少
  • 输入门：决定要不要忽略掉输入数据
  • 输出门：决定是不是使用隐状态

效果其实和GRU差不多：都是要不要忘掉过去的状态，尽量看现在的输入数据，要不要不看此刻的输入数据，尽可能看前一时刻的输入数据

三个门

  • 每次计算，搞出两个w和一个b出来；
    在这里插入图片描述

在这里插入图片描述
候选记忆单元

在这里插入图片描述
记忆单元

  • 上一个时刻的记忆单元会作为状态放进来；与RNN不同的是，在LSTM中的状态有两个；一个是C一个是H
    在这里插入图片描述
    隐状态
    在这里插入图片描述
    总结
    在这里插入图片描述
    神经网络中困惑度的理解
  • 在神经网络中，困惑度是一种用来衡量语言模型预测性能的指标。它可以理解为给定一个语言模型和一个测试集，计算模型在该测试集上预测的困难程度
  • 具体地说，困惑度是对测试集上所有可能序列的概率的几何平均数的倒数，即 perplexity = exp(cross entropy)，其中cross entropy代表模型预测和实际输出之间的差异。困惑度越低，表示模型的预测性能越好（困惑度越低，表示模型的预测性能越好）
来杯黑美式
关注
专栏目录
[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)
Holeung blog
07-29 3082
[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1) PDF VIDEORecurrent Neural NetworkExample Application slot 安装、放入、沟槽、插入…… 哇好多意思啊。 Slot Filling 就相当把关键字提溜出来放到相应的凹槽内，强迫症患者真舒服。
《动手学深度学习》 RNN & GRU & LSTM with gluon
weixin_42152526的博客
08-30 472
RNN 循环神经网络，时间步t的隐藏变量的计算由当前时间步的输入和上一个时间步的隐藏状态共同决定。 GRU 门控循环单元，引入了重置门和更新门的概念。 重置门输出R与上一时间步的隐藏状态按元素乘法，产生候选隐藏状态，决定是否drop上一时间步的隐藏状态。 更新们对上一步的隐藏状态以及候选隐藏状态做加权平均，产生当前时间步的隐藏状态。 LSTM 长短期记忆，引入输入门，遗忘门，输出门。 记住有6个公...
李宏毅机器学习课程笔记9：Recurrent Neural Network
徐子尧的博客
07-25 9985
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第25-26课所做的笔记和自己的理解。Lecture 25,26: Recurrent Neural Network RNN的基本概念与SimpleRNN以订票系统中的Slot Filling为例，我们希望订票系统听到用户说:”I
李宏毅深度学习笔记（十三）LSTM（长短期记忆网络）
comli_cn的博客
02-19 2468
1.结构 2.计算 例1： 假设x1x_1x1​，x2x_2x2​，x3x_3x3​均为输入，当x2=1x_2=1x2​=1的时候将x1x_1x1​加入记忆单元，当x2=−1x_2=-1x2​=−1时将将记忆单元清空，当x3=1x_3=1x3​=1的时候输出记忆单元里面的数值。根据规则，最开始记忆单元里面存储的是0，当输入x1=1x_1=1x1​=1时因为x2=0x_2=0x2​=0，x3=0x...
【机器学习】李宏毅——Recurrent Neural Network(循环神经网络)
FavoriteStar的博客
09-09 805
【机器学习】李宏毅——Recurrent Neural Network(循环神经网络)
李宏毅机器学习【深度学习】（17）【 LSTM 框架补充与应用】
lance～crazy
08-12 335
LSTM Learning Target cross entropy Learning Backpropagation through time (BPTT) RNN - based network is not always easy to learn The error surface is rough the error surface is eigher very flat or very steep. clipping : 当gradient > 15, 另gradient = 15
pso-gru-lstm：PSO优化GRU-LSTM超参数
02-19
PSO优化GRU-LSTM超参数 1、摘要 本文主要讲解：使用PSO优化GRU-LSTM超参数，神经元个数、学习率、dropout和batch_size 主要思路： 建立GRU-LSTM模型 定义PSO的参数：最大迭代次数、最大惯性权重、最小惯性权重、...
【深度学习实战应用案例】时序分析-GRU&LSTM（代码+数据）.zip
03-24
本案例聚焦于两种广泛使用的时序模型：门控循环单元（GRU）和长短时记忆网络（LSTM），这两种模型是递归神经网络（RNN）的变体，特别适合处理具有时间依赖性的序列数据。 首先，我们要理解时序数据的特点。时序数据...
GRU,LSTM三种网络.rar
10-28
在神经网络领域，GRU（Gated Recurrent Unit）和LSTM（Long Short-Term Memory）是两种广泛使用的循环神经网络（RNN）结构，它们主要用于处理序列数据，如时间序列预测、自然语言处理和语音识别等任务。这两种网络都...
基于MATLAB的GRU和LSTM并行网络
06-11
在本文中，我们将深入探讨基于MATLAB实现的GRU（门控循环单元）与LSTM（长短期记忆网络）并行网络，以及如何利用这样的网络结构解决分类问题。GRU和LSTM是两种广泛应用于序列数据建模的递归神经网络（RNN）变体，...
李宏毅老师课件整合
12-17
包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用。
LSTM(李宏毅讲解)
我亦无他，唯手熟尔
06-30 970
1.首先一个特征输入，会有一个输入门来控制能不能输入，然后在学习之后要输出的时候，需要有一个输出门来控制要不要输出，在这个记忆细胞内部，会有一个遗忘门来控制这个细胞要不要忘记信息。第三列x2和x3都是0，不操作，第四列x2等于1，则x1的4被写到记忆细胞（3+4=7），第五列x2和x3都是0，不操作，第六列x3等于1,输出记忆细胞的7，所以y等于7。5.ct-1就是cell,xt就是输入，下面四个绿色的就是前面提到的输入门控制，输出门控制，遗忘门控制。最上面蓝色的是记忆细胞，最开始里面是0。
lstm神经网络_神经网络：RNN+LSTM
weixin_39806603的博客
12-04 796
一、问题提出slot filling(槽填充)：智慧客服、智慧订票系统中往往需要自动将词汇与slot对应。把词汇用向量表示。多加一个other维度，不在词典中就归类到other。也可以用一个词汇的字母的n-gram，如apple中包含app、ppl、ple。把这个vector放进network，得到的输出是input属于每个slot的几率。第二句话输出的taipei是出发地而不是目...
通俗理解循环神经网络（RNN）和LSTM（李宏毅视频课笔记整理）
双鸭山•克里菲斯•北方孤星之堕
07-27 1824
文章目录0 前言1 RNN1.1 RNN的基本框架1.2 其他类型的RNN模型1.2.1 Jordan Network1.2.2 Bidirectional RNN2 LSTM2.1 简介2.2 LSTM的基本框架2.3 LSTM的一些讨论2.3.1 LSTM和其他模型的关系2.3.2 LSTM解决梯度消失 0 前言 RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络，它能挖掘数据中的时序信息以及语义信息。本文以李宏毅老师上课内容为基础，介绍RNN和LSTM的模型
李宏毅机器学习课程-RNN与LSTM0303
weixin_49747347的博客
03-03 672
B站 李宏毅2021春机器学习课程 P36P37 目录 1、RNN 2、RNN类型 3、LSTM 4、RNN不好训练的原因​ 5、LSTM能解决gradient vanishing梯度消失 6、CTC 1、RNN 2、RNN类型 3、LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LST...
李宏毅seq2seq(RNN LSTM GRU seq2seq)
qq_43501578的博客
08-03 771
1.回顾RNN 对于RNN，要求隐藏状态的维度要相同。 RNN模块是同一个网络，只是在不同时间的使用。 对于RNN可以将中间层的输出作为下一层的输入，f1≠f2。 其它的计算以此类推。隐藏层的激活函数选用tanh函数，对于分类问题输出层选用softmax为激活函数。 2.LSTM c为记忆细胞，变化速度较慢，h为隐藏变量，变化较快。 长短期记忆的门的输入均为当前时间步输入Xt​ 与上一时间步隐藏状态Ht−1​ ，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，这3个门元素的值域均
李宏毅机器学习笔记：RNN循环神经网络
最新发布
夏之微风的博客
09-03 1723
第3个输入为[2,2]，结合前一个memory的输入为[6,6]，这个时候hidden layer的输出为[16,16]，output为[32,32]。这个时候结合前一个memory的输出[2,2]，hdden layer的输出为[6,6]，output为[12,12]。举例来说，我们输入的第一个向量为[1,1]，则hidden layer的输出为[2,2]，先被储存起来，输出为[4,4]。这样，将词汇向量化之后，我们指导，网络的输入为一个个的词汇向量，网络的输出则为：y1表示词汇属于。
李沐第十五课--GRU、LSTM等
u010995990的博客
02-26 523
前情回要：上节课可以得到用梯度裁剪可以解决梯度爆炸问题，那么对于梯度消失问题，我们可以使用GRU和LSTM来解决。 GRU： GRU中有两个比较重要的门，一个叫重置门(Rt【reset】)，一个叫更新门（Zt【update】）， 1，下图中第一个公式是重置门的计算方式， 2， 第二个公式是更新门的计算方式， 3，第三行是暂时的、候选的Ht的计算方式【注意第三个公...
李沐动手学深度学习V2-GRU门控循环单元以及代码实现
flyingluohaipeng的博客
06-29 1853
我们可能会遇到这样的情况： 1）早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在序列的末尾辨别校验和是否正确。 在这种情况下，第一个词元的影响至关重要，我们希望有某些机制能够在一个记忆元里存储重要的早期信息， 如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度， 因为它会影响所有后续的观测值。 2) 一些词元没有相关的观测值。 例如在对网页内容进行情感分析时， 可能有一些辅助HTML代码与网页传达的情绪无关，希望有一些机制来跳过隐
MATLAB实现GRU与LSTM并行网络提升分类准确率至99%
资源摘要信息:"基于MATLAB的GRU和LSTM并行网络是一篇研究如何利用循环神经网络(RNN)中的门控循环单元(GRU)和长短期记忆网络(LSTM)来构建并行处理模型的文章。该模型特别适用于处理序列数据的分类问题，根据描述，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值