LSTM复现（pytorch）用到的知识点总结

最新推荐文章于 2024-03-28 20:36:21 发布
最新推荐文章于 2024-03-28 20:36:21 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kunAUGUST/article/details/106801602
版权
本文总结了在使用PyTorch实现LSTM进行NLP任务时，如何构建数据集、词汇表以及.BPTTIterator迭代器。讨论了词向量维度（embed_size）与LSTM隐藏层节点数（hidden_size）的关系，并解释了LSTM在网络结构中的输入输出维度。
摘要由CSDN通过智能技术生成

构建数据集使用torchtext

TEXT = torchtext.data.Field(lower=True)
train, val, test = torchtext.datasets.LanguageModelingDataset.splits(path=r"D:\pytorch\PyTorchclass\data\class2\text8\text8", train="text8.train.txt", validation="text8.dev.txt", test="text8.test.txt",
                                                  text_field=TEXT)

构造了训练集、交叉验证集、测试集。
构建词汇表：

TEXT.build_vocab(train, max_size=MAX_VOCAB_SIZE)

print(type(TEXT.vocab.itos))  # <class 'list'>
print(TEXT.vocab.itos[:10])

itos全程idx_to_word，是一个list，存放所有词汇
在这里插入图片描述

print(type
最低0.47元/天 解锁文章
kunAUGUST
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
LSTM 原理复现
qq_45383577的博客
05-10 152
（某人在复试完之后跟我说有7个，当时我百度都凑不够7个）LSTM 含有3个门：输入门，输出门，遗忘门。
Pytorch入门+实战系列七： Seq2Seq与Attention
Miracle8070
08-04 2926
Pytorch官方文档：https://pytorch.org/docs/stable/torch.html? 1. 写在前面 今天开始，兼顾Pytorch学习， 如果刚刚接触深度学习并且想快速搭建神经网络完成任务享受快感，当然是Keras框架首选，但是如果想在深度学习或人工智能这条路上走的更远，只有Keras就显得有点独木难支，这时候我们需要一个更加强大的框架，这里我想学习Pytorch，它代码通俗易懂，接近Python原生，学起来也容易一些，所以接下来会整理自己在快速入门Pytorch道路上的所见所得，
【模型复现】LSTM优秀变体—GRU模型的快速复现
m0_60673947的博客
03-07 1098
【模型复现】LSTM优秀变体—GRU模型的快速复现「极链AI云 」 极链AI云 注册链接 关注极链AI云公众号，学习更多知识！ 文章目录【模型复现】LSTM优秀变体—GRU模型的快速复现「极链AI云 」一、模型详情1.1 模型简介：1.2 关键词：1.3 应用场景：1.4 结构：1.5 论文地址：1.6 模型来源：二、平台环境准备3.1 打开极链AI云平台3.2 点击模型3.3 选择并创建实例3.4 使用jupyterlab连接四、模型复现4.1 环境配置4.2 模型推断4.3 模型训练4.4
【NLP】LSTM理解（Pytorch实现）
myaijarvis notebook
05-03 2058
【参考：详解LSTM - 知乎】 手动实现 【参考：30、PyTorch LSTM和LSTMP的原理及其手写复现_哔哩哔哩_bilibili】 单层单向 【参考：30 - LSTM,LSTMP手撸代码_取个名字真难呐的博客-CSDN博客】 import torch from torch import nn torch.manual_seed(0) # 设置随机种子，随机函数生成的结果会相同 batch_size = 2 # 批次大小 seq_len = 3 # 输入序列长度 input_siz
LSTM复现（源github）
m0_51389066的博客
08-03 1606
LSTM 时间序列预测
【QLBD】LSTM情感分析实验复现（一）one-hot encoding
XHYQLBD的博客
01-08 4138
注1：参考学习  科学空间论坛   苏剑林 的博文 注2：记录实验复现细节，并根据版本更新对代码作出修正。 注3：python3.5；keras2.0.9 【QLBD】LSTM情感分析实验复现（一）one-hot encoding 【QLBD】LSTM情感分析实验复现（二）分词&one-hot 【QLBD】LSTM情感分析实验复现（三）one embedding 【QL
pytorch实现LSTM学习总结
qq_38417994的博客
02-27 2114
pytorch实现LSTM学习总结 第一次写csdn，可以通过这样的方式记录一下自己学习过程中遇到的问题。 学习目标： 学习语言模型，以及如何训练一个语言模型 学习torchtext的基本使用方法 构建 vocabulary word to inde 和 index to word 学习torch.nn的一些基本模型 Linear RNN LSTM GRU（因为我觉得LSTM和GRU在代码方面如出一辙，所以只用了LSTM） RNN的训练技巧 Gradient Clipping 5.如何保存和读取模型 代
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4634
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
《自然语言处理实战入门》 ---- 【Generative AI重制版】总目录
shiter编写程序的艺术
12-03 5300
随着人工智能的快速发展，自然语言处理和机器学习技术的应用愈加广泛。为使大家对该领域整体概况有一个系统、明晰的认识，同时入门一些工程实践，也借CSDN为NLP的学习，开发者们搭建一个交流的平台。我希望能够通过这个专栏《自然语言处理实战入门》和广大NLP爱好者一起学习自然语言处理技术，分享学习资料，打破NLP 技术 的实战应用壁垒。................................................
DeepLearningLSTM.m
09-23
MATLAB复现LSTM网络学习预测,此示例说明如何使用长期短期记忆 (LSTM) 网络预测时序数据。要预测序列在将来时间步的值，您可以训练“序列到序列”回归 LSTM 网络，其中响应是将值移位了一个时间步的训练序列。也就是说，在输入序列的每个时间步，LSTM 网络都学习预测下一个时间步的值。
深度学习三维重建 笔记总结 问题总结 MVSNet系列最新顶刊 对比总结 （近20篇）
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
09-03 542
MVSNet(CVPR-2018)，RMVSNet(CVPR2019)，PointMVSNet(ICCV2019),P-MVSNet(ICCV2019)，MVSCRF(ICCV2019)，Cascade(CVPR2020),CVP-MVSNet(CVPR2020)，Fast-MVSNet(CVPR2020)，UCSNet(CVPR2020),CIDER(AAAI2020)，PVAMVSNet(ECCV2020)，D2HC-RMVSNet(ECCV2020)，Vis-MVSNet（BMVC 2020），AA-
LSTM/GRU/BiLSTM...等结构的简单复现以及各种注意力（持续更新中）
我不爱机器学习的博客
12-30 772
LSTM/GRU/BiLSTM…等结构的简单复现以及各种注意力（持续更新中） 代码复现目录
论文代码复现一：LSTM+CRF序列标注
m0_56985253的博客
05-15 1874
本文复现了论文《Bidirectional LSTM-CRF Models for Sequence Tagging 》的LSTM+CRF模型，并可在Penn Treebank、CoNLL2000和CoNLL2003数据集上测试运行。
墨尘的神经网络7--LSTM 长短时记忆网络模型代码复现及要点记录
我是尘客哥
03-13 313
LSTM简介 1、RNN的梯度消失问题 在过去的时间里我们学习了RNN循环神经网络，其结构示意图是这样的： 其存在的最大问题是，当w1、w2、w3这些值小于0时，如果一句话够长，那么其在神经网络进行反向传播与前向传播时，存在梯度消失的问题。 0.925=0.07，如果一句话有20到30个字，那么第一个字的隐含层输出传递到最后，将会变为原来的0.07倍，相比于最后一个字的影响，大大降低。 ...
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现
ZZQ_UESTC的博客
01-23 6764
本篇文章是对已有一篇文章的整理归纳，并对文章中提及的模型用Pytorch实现。基于LSTM的序列分类。
LSTM测试，公式复现/LSTM函数/lstmlayer，三种方式对比，结果一致
最新发布
guiyuantiantian的博客
03-28 654
lstmlayer内部是封装的，无法看到里面具体的函数。通过lstmlayer训练得到的参数，我想验证试一下是不是按照公式算的，便于手动转换成C语言。%% begin 20240323 end: 20240326 %% 对LSTM的源代码、matlab自带LSTM以及matlab的app的测试状态进行对比 %% https://www.mathworks.com/help/releases/R2019b/deeplearning/ref/dlarray.lstm.html#d117e136457 clc;
PyTorch LSTM和LSTMP的原理及其手写复现
zik的博客
05-20 2526
关于LSTM的原理以及公式其实在这篇博客一步一步详解LSTM网络【从RNN到LSTM到GRU等，直至attention】讲的非常清晰明了了。这里就是写出LSTM的pytorch的实现，包括API和手写。在看代码之前有必要了解输入输出有哪些，以及他们的特性。将多层长短期记忆 (LSTM) RNN 应用于输入序列。
pytorch 交叉验证_Pytorch中我们所经过的 “坑”
weixin_39585761的博客
12-20 743
一、 调皮的dropout 这个在利用torch.nn.functional.dropout的时候，其参数为：torch.nn.functional.dropout(input, p=0.5, training=True, inplace=False) 注意这里有个training指明了是否是在训练阶段，是否需要对神经元输出进行随机丢弃，这个是需要自行指定的，即便是用了model.train()或...
lstm预测pytorch
04-29
LSTM神经网络是一种递归神经网络，可用于处理时间序列数据，提供了一种快速有效的方法来捕获时间序列数据之间的依赖性。PyTorch是一种深度学习框架，可用于构建和训练神经网络模型，并提供了很多深度学习工具和技术。 使用LSTM预测PyTorch可以通过以下步骤实现： 1. 数据准备：将时间序列数据准备到PyTorch中，将其转换为Tensor对象，并进行规范化，以确保数据具有相同的比例。 2. 模型构建：在PyTorch中使用LSTM模块构建神经网络模型。选择适当的隐藏层数量、学习率和优化器等参数，以确保模型能够准确地拟合数据。 3. 训练模型：使用准备好的数据集拟合LSTM模型。通过计算损失函数（如均方误差）和反向传播优化器来调整模型参数，使其更好地拟合数据。 4. 模型评估：在测试集上评估模型的性能，例如计算预测值和实际值之间的均方根误差（RMSE）或平均绝对误差（MAE）等指标。 5. 模型调整：根据评估结果对模型进行调整，例如增加隐藏层数量或更改学习率。 最终，使用LSTM预测PyTorch可以准确预测时间序列数据的未来值，从而提高商业决策、金融分析、气象预测、图像识别等领域的效率和准确性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值