RNN笔记随写--李沐第十二课

最新推荐文章于 2024-01-30 13:53:23 发布
最新推荐文章于 2024-01-30 13:53:23 发布
阅读量290 收藏
点赞数
分类专栏： 李沐课程学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010995990/article/details/79356732
版权

今天看了李沐课程的第十二课，主要学习到了RNN的具体结构，以及弄明白了RNN中隐层的具体作用。
这里写图片描述

图中的前两行表示的是RNN中的H(隐层）、Y(输出)的具体计算方式
从图中我们可以得出，是先由输入Xt和上个隐层状态Ht-1得到本层的隐层Ht，再由本层的Ht得到本层的输出Yt。

隐层的具体作用我的理解是：循环神经网络使用隐层来记录前面看到的数据来帮助当前预测。

比如图中，在第一个节点输入“你”，然后在预测“好”的时候，同时输出了一个隐层状态H1。我们可以用这个隐层H1和下一个输入“好”来一起预测“世”，在预测“世”的同时输出一个隐层状态。如此循环往复下去

参考地址：https://mp.weixin.qq.com/s?__biz=MzAxMzc2NDAxOQ==&mid=2650365109&idx=3&sn=5b846c0c608f37009ce80b90d8a00de0&chksm=83906869b4e7e17fb901043f611d5964ddb249f3bc5c8fa9ebe6bd411e32e389298607c40775&scene=21#wechat_redirect

苏何月下追韩信丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
tangailong8709的博客
02-15 1026
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
RNN-文本预测-爱丽丝仙境梦游.zip
04-03
内附一个文本数据集，一个代码文件 # 代码功能: Simple-RNN 实现文本预测------------------------------------------- ...# 第2步: 训练Simple RNN网络 # 第3步: 生成初始文本，预测文本后续内容
李沐动手学深度学习V2-RNN循环神经网络原理
flyingluohaipeng的博客
06-23 1453
前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt∣xt−1,…,xt−n+1)P(x_t \mid x_{t-1}, \ldots, x_{t-n+1})P(x
李沐第十四课-实现、训练和应用循环神经网络
u010995990的博客
02-25 337
两个问题： 1，如何初始化RNN中的初始隐含层H0 2,如何利用RNN最后输出的隐含层Hn， 如下图中所描述的(1)(3)作为一个batch_size,(2)(4)作为一个batch_size,这样就可以实现(1)的最后一个隐含层H3可以作为下一个batch_size的(2)的初始隐含层。 ...
李沐动手学深度学习V2-使用Pytorch框架实现RNN循环神经网络
flyingluohaipeng的博客
06-24 1629
上篇博文记录了RNN从零实现过程，现在使用Pytorch的高级API提供的函数实现RNN，首先读取时光机器数据集： 2. 模型定义 Pytorch高级API提供了循环神经网络的实现，构造一个具有256个隐藏单元的单隐藏层的循环神经网络层rnn_layer。 使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。 通过一个隐状态和一个输入，就可以用更新后的隐状态计算输出。注意：rnn_layer的“输出”（Y）不涉及输出层的计算： 它是指每个时间步的隐状态，这些隐状态可以用作后续输出层的输入。
李沐动手学深度学习V2-RNN循环神经网络从零实现
flyingluohaipeng的博客
06-24 2767
根据上篇博客介绍李沐动手学深度学习V2-RNN循环神经网络原理， 来从头开始基于循环神经网络实现字符级语言模型，模型将在H.G.Wells的时光机器数据集上训练，首先读取数据集。 2. 独热编码(one-hot encoding) 在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难，我们通常将每个词元表示为更具表现力的特征向量，最简单的表示称为独热编码（one-hot encoding）。 简言之，将每个索引映射为相互不同的单位向量： 假设词表中不同词元
RNN-Time-series-Anomaly-Detection:在Pytorch中实现的基于RNN的时间序列异常检测器模型
04-12
RNN时间序列异常检测在Pytorch中实现的基于RNN的时间序列异常检测器模型。 这是基于RNN的时间序列异常检测器的一种实现，它由时间序列预测和异常分数计算的两阶段策略组成。要求Ubuntu 16.04+（在Windows 10上报告了...
wtte-rnn：WTTE-RNN：流失和事件预测时间的框架
02-06
WTTE-RNN是一种算法和关于如何实现的哲学。快速直观的介绍Jupyter笔记本：，Gianmario Spacagna的“故障时间”。 韩文安装Python查看。 如果这看起来，则可以将其作为内嵌式内联找到思想和基础您具有包含许多时间...
GAN-RNN_Timeseries-imputation:用于估算时间序列数据的递归GAN。 在Kaggle的Wikipedia Web流量预测数据集的TensorFlow 2中实现
05-28
作者： Ivan Bongiorni ，数据科学家。卷积递归Seq2seq GAN用于时间序列数据中缺失值的插补描述该项目的目标是为时间序列数据的插补实现递归卷积Seq2seq神经网络的多种配置。 提供了三种实现： 循环卷积seq2seq模型...
a-important-rnn-2015-RNN应用-KarparthyUNREASONABLY-EFFECTIVE-RNN-1
08-03
2015年，作者首次尝试用RNN进行图像描述生成时，即便是在参数设置相对随意的情况下，经过短短几十分钟的训练，模型就开始产生看似合理的图像描述，这让他深感震撼。当时普遍的看法是RNN难以训练，但随着时间的推移，...
RNN-LSTM 卷积神经网络使用 Matlab 实现
10-30
RNN卷积神经网络，LSTM，是使用matlab实现的，简单的模拟。欢迎大家来下载。
李沐动手学深度学习(pytorch版本)”d2lzh_pytorch”包的缺少安装问题
12-21
学习深度学习时候，很多人参考的是李沐的动手学深度学习Pytorch版本（附上官方地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/）。 在学习3.5.1节 “获取数据集” 时，会遇到d2lzh_pytorch包缺少的问题，经过查阅资料，下面方法可以解决这个问题。 import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import time import sys sys.path.appe
李沐《动手学深度学习》循环神经网络 相关基础概念
weixin_47748259的博客
01-30 1313
涉及到一个、两个和三个变量的概率公式分别被称为一元语法、二元语法和三元语法模型，n元语法通过截断相关性，为处理长序列提供了一种实用的模型。可以计算为任何以单词“deep”开头的句子的概率，一种方法是统计单词“deep”在数据集中的出现次数，然后除以整个语料库的单词总数。等捕获并保留了序列直到其当前时间步的历史信息， 就如当前时间步下神经网络的状态或记忆， 因此这样的隐藏变量被称为隐状态。，由于不同时间步下，循环神经网络也是使用这些模型参数，因此循环神经网络的参数开销不会随着时间步的增加而增加。
李沐-《动手学深度学习》--02-目标检测
asdfasaa的博客
01-07 1654
bilibili-李沐-《动手学深度学习》学习笔记
李沐第十五课--GRU、LSTM等
u010995990的博客
02-26 487
前情回要：上节课可以得到用梯度裁剪可以解决梯度爆炸问题，那么对于梯度消失问题，我们可以使用GRU和LSTM来解决。 GRU： GRU中有两个比较重要的门，一个叫重置门(Rt【reset】)，一个叫更新门（Zt【update】）， 1，下图中第一个公式是重置门的计算方式， 2， 第二个公式是更新门的计算方式， 3，第三行是暂时的、候选的Ht的计算方式【注意第三个公...
第十讲-循环神经网络--课时23
qq_39638957的博客
05-12 192
image captioning 是由CNN和RNN连接起来的网络----------------------------------------------------------------------------------------------------------------------------Image captioning with Attention CNN处理图形后不再产...
李沐机器学习系列5---循环神经网络
weixin_43485943的博客
01-05 1648
对于样本的分析，通过全连接层处理表格数据，通过卷积神经网络处理图像数据；第一种假设，所有数据都是独立同分布的RNN 处理序列信号序列数据的更多场景1）用户使用习惯具有时间的先后性2）外推法和内插法。
李沐pytorch学习-经典CNN的原理及代码实现
qq_26545507的博客
08-21 682
AlexNet赢了2012年ImageNet比赛是个更深更大的LeNet∷ ReLu作为激活函数，减缓梯度消失∷ 使用MaxPooling∷ 全连接层后加入了丢弃层（DropOut∷ 进行了数据增强（Data argumentation，截取图片一部分作为新增数据、或者调色温）DropOut：随机使某个神经元失效，以免训练后网络输出过度依赖某个神经元导致过拟合【深度学习】丢弃法（dropout）_苦逼的虾的博客-CSDN博客。
08.6. 循环神经网络的简洁实现
weixin_45063703的博客
10-10 208
使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。#result# 通过一个隐状态和一个输入，我们就可以用更新后的隐状态计算输出。# result# 定义了一个RNNModel类#@save"""循环神经网络模型"""# 如果RNN是双向的（之后将介绍），num_directions应该是2，否则应该是1else:# 全连接层首先将Y的形状改为(时间步数*批量大小,隐藏单元数)# 它的输出形状是(时间步数*批量大小,词表大小)。# nn.GRU以张量作为隐状态。
基于RNN的聊天机器人 -题目范畴：RNN, 对话系统
最新发布
07-06
基于循环神经网络（Recurrent Neural Network, RNN）的聊天机器人是一种人工智能应用，它利用了RNN的独特结构来处理序列数据，比如自然语言文本。在构建聊天机器人时，RNN能够记住之前的对话历史，通过学习到的模式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值