动手深度学习笔记（四十九）8.5. 循环神经网络的从零开始实现

于 2024-01-01 18:15:36 发布
阅读量1k 收藏 21
点赞数 19
分类专栏： pytorch实践 文章标签： 深度学习 rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juluwangriyue/article/details/135322682
版权
pytorch实践 专栏收录该内容
136 篇文章 108 订阅 ¥29.90 ¥99.00
订阅专栏

动手深度学习笔记（四十九）8.5. 循环神经网络的从零开始实现

8.5. 循环神经网络的从零开始实现

本节将根据 8.4节中的描述， 从头开始基于循环神经网络实现字符级语言模型。 这样的模型将在H.G.Wells的时光机器数据集上训练。 和前面 8.3节中介绍过的一样， 我们先读取数据集。

%matplotlib inline
import math
import torch
from
了解本专栏 订阅专栏 解锁全文
落花逐流水
关注
  • 19
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
《动手学深度学习》循环神经网络
01-06
pytorch版循环神经网络实现 import torch import torch.nn as nn import time import math import sys def load_data_jay_lyrics(): 加载周杰伦歌词数据集 with open('/Users/nick/Documents/dataset/jaychou_lyrics.txt','r') as f: corpus_chars = f.read() corpus_chars = corpus_chars.replace('\n', ' ').repla
动手学深度学习（三十八）——从零开始实现循环神经网络RNN
Liu Feng's Blog
11-07 2846
文章目录1. 数据加载与转换1.1 加载Time machine这本书1.2 读取《星球大战》书籍数据集2. 初始化模型参数3. 循环神经网络模型4. 预测5. 梯度裁剪6. 训练小结练习 【说明】：这里加载了两本书的数据，都是李沐沐神书中提到的数据。由于沐神封装的代码都是加载的《Time machine》，所以我是将前面两篇Blog的代码又在这里复写了一遍，用来加载《星球大战》数据集。后面的内容是对沐神课程和代码的一个复现。其中的知识点我会用黄色标出。 %matplotlib inline import
[机器学习入门笔记] 3. 监督学习单模型部分
欢迎光临~
09-13 1213
理论学习了一阵子，适当定期回顾，结合参考资料，手动实现经典模型，巩固基础~
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
《动手学深度学习》Task02-3:循环神经网络
weixin_43604754的博客
02-12 219
循环神经网络 本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_{t}Ht​表示HHH在时间步ttt的值。HtH_{t}Ht​的计算基于XtX_{t}Xt​和Ht−1H_{t-1}Ht−1​，可以认为HtH_{t}Ht​记录了到当前字符为止的序列信息，利用HtH_{t}H...
TensorFlow深度学习笔记TensorFlow实现与优化深度神经网络
01-27
1.加载lesson1中的数据集2.将Data降维成一维，将label映射为one-hotencoding1.使用梯度计算train_loss，用tf.Graph()创建一个计
动手学深度学习-循环神经网络进阶（ModernRNN）
01-07
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/qC-4p–OiYRK9l3eHKAju 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的...
深度学习-循环神经网络RNN-RNN代码实现-学习RNN的学习笔记
06-14
RNN相关文章分为循环神经网络原理介绍，链接地址：https://blog.csdn.net/Lian_Ge_Blog/article/details/129046842?spm=1001.2014.3001.5502；以及RNN代码实现分析，包含了torch中不同方法实现RNN，以及参数介绍，...
猫狗数据集+基于卷积神经网络实现的猫狗图像分类项目源码+深度学习笔记答辩PPT.zip
06-22
猫狗数据集+基于卷积神经网络实现的猫狗图像分类项目源码+深度学习笔记答辩PPT+大作业文档。 由于数据集中图片数量太多，所以将图片数据打包存在了 cats_and_dogs.zip 里面。 该数据集包含25000张猫狗图像(每个类别...
动手学深度学习笔记二
01-06
实现深层循环神经网络需要修改的参数是？num_layers 3. GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理...
深度之眼Pytorch打卡（十七）：循环神经网络部件——RNN详细原理与pytorch的RNN层应用实例
意疏的学习笔记
09-20 1155
前言   循环神经网络（Recurrent Neural Network，RNN）与卷积神经网络一样，都在深度学习中占有非常重要的地位。虽然先前笔记提到的全连接网络和卷积神经网络已经有很强的表示能力了，但由于网络结构的限制，它们只能处理定长的输入数据，并且由于有向无环的特点，它们只在意当前输入数据，而不考虑输入数据的顺序、以及前后数据是否有关联。而文本、语音和视频等数据，往往都是不定长的、并且前后数据相关性极大，一旦改变顺序，往往会失去原先的信息。所以需要一种考虑输入数据顺序，并且能够记忆以往数据信息的网
Windows系统下在Anaconda中使用bash
juluwangriyue的博客
09-28 6959
anaonda环境中如何使用bash命令，提示： 'sh' 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法： 在anaconda中执行以下命令即可（要先activation 想用的环境）： conda install m2-base 他自动安装的依赖包还挺多的，安装完毕后，再运行bash命令没问题了。 ...
onnxruntime推理CPU GPU切换
juluwangriyue的博客
12-22 5167
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
安装pytorch后导出报错 caffe2_detectron_ops_gpu.dll“ or one of its dependencies
juluwangriyue的博客
02-10 4540
安装pytorch后导出报错 caffe2_detectron_ops_gpu.dll" or one of its dependencies >>> import torch Traceback (most recent call last): File "<stdin>", line 1, in <module> File "D:\anaconda3\envs\pytorch\lib\site-packages\torch\__init__.py", l
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 4456
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
训练过程loss震荡原因与解决办法
juluwangriyue的博客
10-16 4242
这训练过程loss震荡原因与解决办法1、训练的batch_size太小2、数据输入不对3、loss震荡分析 1、训练的batch_size太小 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。 batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点， 1）全数据集的方向能够更好的代表样本总体，确定其极值所在。 2）由于不同权重的梯度值差别巨大
动手深度学习笔记（三十五）6.5. 汇聚层
juluwangriyue的博客
03-11 3998
动手深度学习笔记（三十五）6.5. 汇聚层6. 卷积神经网络6.5. 汇聚层6.5.1. 最大汇聚层和平均汇聚层 6. 卷积神经网络 6.5. 汇聚层 通常当我们处理图像时，我们希望逐渐降低隐藏表示的空间分辨率、聚集信息，这样随着我们在神经网络中层叠的上升，每个神经元对其敏感的感受野（输入）就越大。 而我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一层的神经元应该对整个输入的全局敏感。通过逐渐聚合信息，生成越来越粗糙的映射，最终实现学习全局表示的目标，同时将卷
libtorch c++调用 （八）模型加载失败原因总结
juluwangriyue的博客
07-29 3330
1、最常见原因是：pytorch版本与libtorch版本不一致。虽然偶尔有使用低版本保存的模型高版本libtorch可以调用的情况，但是一般高版本的pytorch保存的模型，低版本的libtorch加载就会报错。所以一般libtorch版本不能比pytorch版本低，但是最好二者版本一致。 2、找不到运行库或运行库不全。这个一般在调试时将debug目录设置为生成可执行程序的目录并且将libtorch库拷贝到该目录下就可以调试。 3、pytorch保存的gpu模型cpu加载，加载时没有设置设备类型导致的加载
Pytorch模型转Torchscript模型
juluwangriyue的博客
09-17 3282
TorchScript，它是PyTorch模型（子类nn.Module）的中间表示，可以在高性能环境（例如C ++）中运行。 转换的方法有两种，一种是通过追踪转换另一种是通过注释转换。 1、追踪转换 常用的是追踪转换，但是这种方法有一个缺点，就是输入尺寸固定。 官网给出的追踪的例子： import torch import torchvision # An instance of your model. model = torchvision.models.resnet18() # An e
deeplearning深度学习笔记v5.72.pdf
最新发布
08-01
深度学习的目标是通过训练，使得神经网络能够自动地完成从输入到输出的复杂映射，从而实现各种人工智能任务，如图像识别、语音识别和自然语言处理等。 在deeplearning深度学习笔记v5.72.pdf中，可能包含了深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值