动手学深度学习第十二课：循环神经网络

最新推荐文章于 2024-01-12 14:09:59 发布
最新推荐文章于 2024-01-12 14:09:59 发布
阅读量103 收藏
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42721412/article/details/109275687
版权

展开：

在这里插入图片描述
左边的前馈神经网络。
右边的时循环神经网络，我们可以发现：
第一个输入的你，会不断的向后传递。不仅仅只是用在了第一次。

送入神经网络的一般是一个批量，应该指的是不同语料同一位置的词向量吧。

记忆体h的维度是自己给定的，（在mooc中讲的是记忆体的个数）

在这里插入图片描述
n表示批量的大小，h表示记忆体的个数（隐藏层的大小），
如果神经网络的目标是输出以一个词的所有可能性，那么y就应该是词典的大小。

梯度裁剪：

在这里插入图片描述

cc 提升ing 变优秀ing
关注
专栏目录
刘二大人《PyTorch深度学习实践》完结合集——第12课：循环神经网络（基础篇）——课后作业
qq_44738211的博客
10-20 271
D:\Anaconda\envs\study\python.exe "D:\python pycharm learning\刘二大人课程\P\p12.2.py"
动手学深度学习第十四课：实现、训练和应用循环神经网络
weixin_42721412的博客
10-25 124
1.纠正之前的一个错误，取数据的批量应该是一个句子中连续的词。也不是非常的正确： 随机批量采样： 相对于上面这种，下面的划分方法可以使用H3来初始化下一个H0：
【动手学深度学习v2】循环神经网络-1.序列模型
qq_37431083的博客
04-22 1387
文章目录1.序列模型1.1 统计工具1.2 自回归模型1.3 总结 1.序列模型 与CNN提取空间信息不同的是，序列模型处理的是时间信息。 1.1 统计工具 下图为股票价格（近30年的富时100指数） 假设在时间t观察到价格xtx_txt​，那么得到T个不独立的随机变量，(x1,...,xT)−p(X)(x_1,...,x_T) - p(X)(x1​,...,xT​)−p(X) 联合概率可以用条件概率展开p(a,b)=p(a)p(b∣a)=p(b)p(a∣b)p(a,b)=p(a)p(b|a)=p(
动手学习深度学习 09：循环神经网络
DLNovice的博客
10-21 1366
动手学习深度学习 09：循环神经网络
动手学深度学习第六课：循环神经网络基础
weixin_42098609的博客
02-14 201
循环神经网络 以循环神经网络实现语言模型为例。 下面分析构造。假设Xt∈Rn×dX_t\in\mathbb{R}^{n\times d}Xt​∈Rn×d是时间步ttt的小批量输入，Ht∈Rn×hH_t\in\mathbb{R}^{n\times h}Ht​∈Rn×h是该时间步的隐藏变量，则 Ht=Φ(XtWxh+Ht−1Whh+bh).H_t = \Phi(X_tW_{xh}+H_{t-1}W_...
《动手学深度学习》学习笔记 第8章 循环神经网络
weixin_42046845的博客
01-12 1184
笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看 关于本系列笔记： 书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺
【动手学深度学习】李沐——循环神经网络
FavoriteStar的博客
11-04 1699
关于李沐老师的【动手学深度学习】课程其中的循环神经网络章节的学习记录，包括完整代码的解释及个人见解。
《动手学深度学习》学习笔记 第9章 现代循环神经网络
最新发布
weixin_42046845的博客
01-12 986
笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看 关于本系列笔记： 书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺
李沐动手学深度学习V2-双向循环神经网络Bidirectional RNN和代码实现
flyingluohaipeng的博客
06-30 1381
在序列学习中，以往假设的目标是：在给定观测的情况下（例如在时间序列的上下文中或在语言模型的上下文中），对下一个输出进行建模，虽然这是一个典型情景，但不是唯一的，例如我们考虑以下三个在文本序列中填空的任务：根据可获得的信息量，我们可以用不同的词填空，如“很高兴”（“happy”）、“不”（“not”）和“非常”（“very”）。很明显每个短语的“下文”传达了重要信息（如果有的话），而这些信息关乎到选择哪个词来填空，所以无法利用这一点的序列模型将在相关任务上表现不佳。 例如如果要做好命名实体识别（例如，识别“G
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
tangailong8709的博客
02-15 1049
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
动手学深度学习(第六章 循环神经网络)
qq_40298825的博客
02-20 852
文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 我们用一部英文小说，莎士比亚的罗密哦与朱丽叶作品作为示例，展示文本预处理的具体过程。 import collections import ...
《动手学深度学习》深度学习简介（完整版）
风口IT猪的成长录
09-16 2491
《动手学深度学习》PyTorch版深度学习简介起源发展成功案例特点小结练习参考文献 深度学习简介 你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。 实际上，或者说幸运的是，大部分程序并不需要深度学习或者是更广义上的人工智能技术。例如，如果我们要为一台微波炉编写一个用户界面，只需要一点儿工夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。 再比如，假设我们要编写一个电子邮件客户端。这样
《动手学深度学习》(PyTorch版)
风口IT猪的成长录
09-16 6334
《动手学深度学习》PyTorch版深度学习简介起源发展成功案例特点小结练习参考文献 深度学习简介 你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。 实际上，或者说幸运的是，大部分程序并不需要深度学习或者是更广义上的人工智能技术。例如，如果我们要为一台微波炉编写一个用户界面，只需要一点儿工夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。 再比如，假设我们要编写一个电子邮件客户端。这样
《动手学深度学习》课后习题1
qbm123456789的博客
02-14 3994
《动手学》：线性回归 **1.**假如你正在实现一个全连接层，全连接层的输入形状是7 \times 87×8，输出形状是7 \times 17×1，其中7是批量大小，则权重参数ww和偏置参数bb的形状分别是____和____ 答案：8×1,1×1 2. 课程中的损失函数定义为： def squared_loss(y_hat, y): return (y_hat - y.view(y_...
深度学习：Conv1D和Conv2D的区别
weixin_42721412的博客
11-02 6873
知乎好文章
python：_flatten:将二维数组拉直为一维数组
weixin_42721412的博客
11-14 3025
代码： from tkinter import _flatten a = [[1, 2], [3, 4]] print(_flatten(a)) 结果： 说明：flatten只能用在numpy的数据类型，一般的列表我们需要使用的是_flatten。
动手学深度学习第十八课：seq2seq（编码器和解码器）和注意力机制
weixin_42721412的博客
10-23 2260
rnn->seq2seq：rnn的输出是定长的，而seq2seq的输出是不定长的了： 编码器和解码器： 编码器和解码器是2个RNN。 背景变量C encoder先把输入信息存入c，decoder再给弄出来。 参数怎么确定呢？ 引入双向： 双向拼接的时候不是加，而是：连接两个向量。 。 输入的h0可以全部为零，但是输出的h‘0一般不随机，给一个第一个词的信息。 上述模型有一点是，输出解码时每一时刻的得到的都是C。 比如，对于如上的句子，我们希望的是在进行第一个输出时，对输入的第一个，第二
深度学习：CNN中通道数和卷积核数量进行区分。
weixin_42721412的博客
11-19 2167
参考 总结结论： 具体： 上图中，给的数据的通道数，是3，因此决定了卷积核深度也是3， 你可能会想，这样的操作结果只能是减少一维吗？ 非也，卷积核的个数，就决定了输出特征图的最后一维，上述两个卷积核，所以，输出的最后一维为2. ...
深度学习PyTorch实战：循环神经网络解析与实现
在深度学习领域，循环神经网络（RNN）是一种适用于处理序列数据的神经网络架构，尤其在自然语言处理和语音识别等领域有着广泛的应用。传统的RNN在处理长序列时面临梯度消失或爆炸的问题，这限制了它们学习长期依赖的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值