为了小论文之跟着李沐学AI(十八)

最新推荐文章于 2023-11-14 14:54:15 发布
最新推荐文章于 2023-11-14 14:54:15 发布
阅读量555 收藏
点赞数 1
文章标签： 人工智能 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36309174/article/details/121417029
版权

解决两个问题Variable和RNN为什么比较复杂

好像是低版本才有Variable的问题
一个Variable封装了三个东西

  • data 也就是tensor
  • grad梯度
  • grad_fn 获得梯度的方法
    依靠这个就能进行反向传播

为什么RNN复杂， 觉得绕来绕去，核心就是对于vocab了解的不够熟悉，对于字到idx的映射不熟悉。下面来看我分析

首先是load_corpus_time_machine这个函数，他可以传入一个参数，最大截取多少字符，防止数据量太大。
返回值是一个corpus和一个vocab

corpus对应的每一个单词在字典中的位置（里面装的是序号，比如the 对应序号0，那就会在the的位置放0）

vocab是一个 Vocab的类

来讲解一下Vocab类，需要传入一个token，这个token可以理解为corpus的字符版本，里面装的是单词，对于Vocab类，我们可以获取他的长度len(vocab)这个表示整个字典有多少个词，用
voab[token] 的方式获得 对应的词所对应的序号
可以使用 vocab.totokens(0) 获得对应的token

vocab是整一个词典！！！
回顾了一下vocab，RNN就变得简单易懂了，下面来看我分析

RNNmodelScratch是一个RNN的模型，相当于我们自己手写的nn.RNN

RNNModelScratch(len(vocab), num_hiddens, d2l.try_gpu(), get_params,init_rnn_state, rnn)

第一个参数len(vocab)，这个表示你字典里有多少个词
第二个参数，我们希望隐藏状态是一个 num_hiddens*num_hiddens的矩阵
第三个参数用的是cpu还是gpu
第四个，获得参数的一个函数
第五个，初始的隐藏状态
第六个，我们的rnn网络（这个类就是rnn的包装类）

但是对于一个简单的实现
rnn_layer = nn.RNN(len(vocab), num_hiddens)
其实nn.RNN的第一个参数是字典的长度，第二个参数是准备传入的隐藏层的大小

70pice
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习实践 7：手撕RNN网络
white_0629的博客
09-07 237
这段代码实现了一个循环神经网络（RNN）模型，并使用训练数据对其进行训练。
动手学深度学习实践（李沐）——LSTM模型
weixin_44790306的博客
11-20 1765
LSTM计算逻辑流程图： 对比——GRU计算逻辑流程：
深度学习（18）——RNN循环神经网络
weixin_45132473的博客
04-27 569
比如上面“你好，世界”那个例子，h0那个隐藏状态初始是没有意义的吧，因为前面没有任何信息，为了整个参数更新流畅，我们也给他一个值就是全0吧。这就是RNN的模型了，看这里就用到了循环遍历，用时间步来作为循环变量，循环遍历得到每次预测的字符，然后拼起来。这里使用了tanh激活函数，可以有效的控制隐藏状态的范围，便于梯度下降。
pytorch学习笔记（18）
weixin_48944587的博客
10-27 313
计算机比较擅长计算，所以我们将词条转换为数字。词频以明显的方式迅速衰减。
《动手学深度学习 Pytorch版》 8.2 文本预处理
AncilunKiang的博客
10-10 435
解析文本的常见预处理步骤：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。
跟着李沐学AI(2.3线性代数)
QQsh7的博客
11-22 718
1、标量：我们称仅包含一个数值的叫标量。标量由只有一个元素的张量表示。 2、向量：向量为标量值组成的列表，这些标量值称为向量的元素或分量。 3、张量：张量是向量的推广。 4、维度：向量的长度通常称为向量的维度。通过调用内置len(x)函数来访问张量的长度 5、张量算法： 两个形状相同的矩阵相加会在这两个矩阵上执行元素加法 两个矩阵的按元素乘法（哈达玛积） 张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。 6、降维：调用求和函数会沿所有的轴降低张量的维度..
跟李沐学AI之注意力机制+transformer
weixin_56368033的博客
10-18 2708
跟李沐学AI之注意力机制+transformer
跟着李沐学AI-- 微分
QQsh7的博客
11-23 1319
1、 %matplotlib inline是一个魔法函数（Magic Functions），官方给出的定义是：IPython有一组预先定义好的所谓的魔法函数（Magic Functions），你可以通过命令行的语法形式来访问它们。 使用%matplotlib命令可以将matplotlib的图表直接嵌入到Notebook之中，或者使用指定的界面库显示图表，它有一个参数指定matplotlib图表的显示方式。inline表示将图表嵌入到Notebook中。magic函数分两种：一种是面向行的，另一种是面向单元.
论文学习：深度学习论文精读集合 李沐发起的深度学习领域经典、最新论文精读视频集合.zip
最新发布
08-01
论文学习：深度学习论文精读集合 李沐发起的深度学习领域经典、最新论文精读视频集合.zip
李沐动手学深度学习在线课程小白跟班系列（一）初入AI深似海
Billy125的博客
11-14 491
我这小白肯定不能幸免。李沐老师的操作很经典，几分钟就安装到位。二、安装conda时注意，随手把jupyter安装了，都集成在一起的。（要跟着李老师这课学就得把jupyter装了，清华镜像源有）一、使用前注意：win10以上版本，pip命令极好（有15W的库供你使用，缺啥补啥！四、进入d2l虚拟环境，执行如下命令，建立jupyter与虚拟环境的联系。在jupyter中显示的环境名称，与jupyter建立联系。五、打开jupyter，浏览器中会显示这三个kernels。我的conda是直接装在C盘，如图显示。
Python-Vocab一个与命令行集成的轻量级在线词典
08-10
Python-Vocab一个与命令行集成的轻量级在线词典
学习笔记六——循环神经网络
qq_56591814的博客
05-06 988
文章目录一、RNN1.1 RNN模型结构1.2 RNN模型的缺点二、长短时记忆网络LSTM2.1 LSTM模型结构2.2 双向循环神经网络Bi-LSTM三、序列到序列模型 一、RNN 前馈神经网络：信息往一个方向流动。包括MLP和CNN 循环神经网络：信息循环流动，网络隐含层输出又作为自身输入，包括RNN、LSTM、GAN等。 1.1 RNN模型结构 RNN模型结构如下图所示： 展开之后相当于堆叠多个共享隐含层参数的前馈神经网络： 其输出为： ht=tanh(Wxhxt+bxh+Whhht−1+bhh)
词向量源码解析：（5.3）ngram2vec源码解析之corpus2vocab
ZhaoZhe的专栏
09-15 791
在hyperwords工具包中，我们看到了用python几行代码就可以建立一个词典。相对于C用几百行实在是方便太多了。但是hyperwords中建立词典的过程却没有考虑主机的内存情况。建立词典的过程中很容易出现内存不够的情况。在word2vec和GloVe中都有ReduceVocab这样的函数，在建立词典中扔掉一些低频词。这样做的会导致最后的词典不全，但是在实际应用中没有什么问题。word2vec
Torchtext快速入门（一）——Vocab
⚡
10-17 7564
深入解读torchtext.vocab.Vocab
动手学深度学习（三十五）——文本预处理（NLP）
Liu Feng's Blog
10-27 2785
文章目录文本预处理(Pre-processing)1. 读取数据集2. 标记化3. 词汇4. 整合上述功能总结 文本预处理(Pre-processing) NLP中自然语言处理离不开对文本数据的预处理操作以方便后期神经网络的训练。 通常文本预处理包含有： 原始数据加载（raw data） 分词（segmentation） 数据清洗（Cleaning） 数据标准化（Normalization）：Stemming / Lemmazation 特征提取（Feature extraction）：tf-idf/wo
【动手学深度学习-Pytorch版】自然语言统计
qq_43858783的博客
09-14 219
【代码】【动手学深度学习-Pytorch版】自然语言统计。
李沐动手学深度学习V2-RNN循环神经网络从零实现
flyingluohaipeng的博客
06-24 2844
根据上篇博客介绍李沐动手学深度学习V2-RNN循环神经网络原理， 来从头开始基于循环神经网络实现字符级语言模型，模型将在H.G.Wells的时光机器数据集上训练，首先读取数据集。 2. 独热编码(one-hot encoding) 在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难，我们通常将每个词元表示为更具表现力的特征向量，最简单的表示称为独热编码（one-hot encoding）。 简言之，将每个索引映射为相互不同的单位向量： 假设词表中不同词元
构建文本数据集（tokenize、vocab）
weixin_46217398的博客
02-24 3489
构建文本数据集（tokenize、vocab）构建文本数据集文本清洗和读取tokenize定义计数函数定义vocab类 根据李沐老师的课做的记录。 构建文本数据集 文本数据集可以将其看作一串单词序列或者字符序列。 构建时一般有以下几个步骤。 文本清洗（比如去除乱码和标点符号、当然在很多时候并不会去掉标点符号）。 将文本存入内存。 将文本拆分成词或者字符。 建立词汇表和对应索引。 文本清洗和读取 这里使用课上提到的《time machine》 百度网盘链接 提取码：pypt 读取文本 只保留字母并统一成
动手学深度学习v2-GRU
z577554980的博客
09-12 505
!pip install d2l import torch from torch import nn from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) def get_params(vocab_size, num_hiddens, device): num_inputs = num_ou.
跟李沐学ai安装pytorch
10-15
要安装PyTorch，可以按照以下步骤进行： 1. 确认已经安装了Python环境，建议使用Python 3.6或以上版本。 2. 打开PyTorch官网（https://pytorch.org/），选择合适的PyTorch版本和对应的CUDA版本（如果需要GPU加速）。 3. 根据官网提供的命令，使用pip或conda安装PyTorch。 例如，如果要安装PyTorch 1.9.0版本，CUDA 11.1版本，可以使用以下命令： ``` pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/cu111/torch_stable.html ``` 安装完成后，可以在Python中导入torch模块进行测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值