pytorch——LSTM原理与实现

最新推荐文章于 2024-11-02 01:51:46 发布
原创 最新推荐文章于 2024-11-02 01:51:46 发布 · 4.6k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了RNN在训练中遇到的梯度爆炸和梯度弥散问题，以及LSTM如何通过遗忘门、输入门和输出门来克服这些问题。LSTM通过四个项的累加避免了梯度的累乘，从而更好地处理长期依赖。在PyTorch中，可以通过nn.LSTM()和nn.LSTMCell()来实现LSTM模型。

文章目录

RNN训练难题

RNN的梯度推导公式：
在这里插入图片描述
累乘会导致的梯度爆炸或梯度弥散。

梯度爆炸

现象：比如loss从0.25、0.24突然变的很大，比如1.7、2.3。

解决方案：对梯度做clipping（保持梯度的方向，将梯度的模变小）。

在这里插入图片描述
在这里插入图片描述
将gradient的模clipping到0-10的范围内，之后再做optimizer.step()效果就会好很多。

梯度弥散

在这里插入图片描述
反向传播时越靠前的神经层更新越小，前面的神经层的梯度会接近于0，得到的更新会非常小。

解决梯度弥散：LSTM

LSTM

相比于RNN，LSTM可以记住更长时间的语境。

记忆Ct-1经过乘运算后的范围：0 ~ Ct-1。

遗忘门

在这里插入图片描述
f(t)由h(t-1)和x(t)决定，控制着t时刻之前信息的保留量。

输入门

在这里插入图片描述
i(t)是门的开度，表示当前信息保留多少与过去的信息融合。
新的信息不是x(t)，而是x(t)运算后得到的C~(t)。

在这里插入图片描述
C(t)是新的记忆。

输出门

在这里插入图片描述
h(t)是输出。
o(t)表示输出门的开度，范围0-1。当前记忆C(t)不一定全部输出，C(t)经过tanh，与o(t)相乘后，可以有选择地输出。

LSTM 总结

三个门的开度都是由h(t-1)和X(t)控

最低0.47元/天 解锁文章
PyTorch实战——基于LSTM的情感分析模型
盼小辉丶的博客
09-15 6215
本文介绍了使用双向长短期记忆网络 (LSTM) 进行情感分析任务的实现方法。相较于基础循环神经网络 (RNN)，LSTM 通过门控机制缓解长程依赖问题，并采用 Dropout 减轻过拟合。本节使用 PyTorch 和 torchtext 处理 IMDb 数据集，构建包含嵌入层、双向 LSTM 层和全连接层的模型，优于传统 RNN，并能有效对用户输入的影评进行正负面情感推断。
LSTM的pytorch实现
羊城迷鹿的博客
05-29 3万+
文章目录LSTM探索矩阵乘法符号@自己实现的LSTM版本和官方实现相比较 LSTM 探索矩阵乘法符号@ 不管输入的两个矩阵到底是多少维，实际中都是只对最后两维做矩阵相乘的运算。 import torch x = torch.randn(5,4,3) y = torch.randn(5,3,8) z = x@y z.shape torch.Size([5, 4, 8]) y = torch...
Pytorch实现的LSTM模型结构
weixin_41744192的博客
03-27 6万+
LSTM模型结构1、LSTM模型结构2、LSTM网络3、LSTM的输入结构4、Pytorch中的LSTM4.1、pytorch中定义的LSTM模型4.2、喂给LSTM的数据格式4.3、LSTM的output格式5、LSTM和其他网络组合 1、LSTM模型结构 BP网络和CNN网络没有时间维，和传统的机器学习算法理解起来相差无几，CNN在处理彩色图像的3通道时，也可以理解为叠加多层，图形的三维矩阵当做空间的切片即可理解，写代码的时候照着图形一层层叠加即可。如下图是一个普通的BP网络和CNN网络。 图中的隐
pytorch实现LSTM（附code）
ting_qifengl的博客
01-23 7万+
最近搞了一个NASA PCoE的IGBT加速老化数据，想基于pytorch框架写一个LSTM模型进行IGBT退化状态的预测，于是有了这篇文章。 注：LSTM的原理就不多讲了，网上一大堆，不懂的自己去百度，本文主要侧重代码实现。 一、数据集介绍 本数据集是NASA PCoE研究中心公布的IGBT加速老化数据集。数据集含有四种实验条件下的IGBT加速老化数据，以下是实验条件： （1）新设备的源测量单元（SMU data for new devices） 该文件中含有一组原始实验条件下的电气特性数据，分
深度学习基础训练：pytorch实现LSTM
最新发布
m0_73916791的博客
11-02 1704
本文不讲解LSTM的理论基础，提供了一个简单的代码实现供参考1.4f一开始比较疑惑为什么cpu版本比gpu版本还快，发现是batch_size设的太小了的原因导致gpu并行计算的能力没有完全体现.4f。
PyTorch搭建LSTM实现时间序列预测（负荷预测）
热门推荐
KI的博客
01-18 10万+
PyTorch搭建LSTM实现时间序列预测（负荷预测）
PyTorch中LSTM模型的实现与应用详解
综上所述，该项目不仅系统讲解了LSTM的基本原理与PyTorch实现细节，还通过实际代码演示了如何将理论转化为可运行的深度学习模型，对于初学者理解和掌握序列建模技术具有重要指导意义。无论是从事学术研究还是工业...
基于pytorch使用LSTM进行谣言检测
CSDN 精品推荐
10-03 6552
下载链接项目中使用的模型是LSTM，在模型中我们定义了三个组件，分别是embedding层，lstm层和全连接层。Embedding层：将每个词生成对应的嵌入向量，就是利用一个连续型向量来表示每个词Lstm层：提取语句中的语义信息Linear层：将结果映射成2大小用于二分类，即谣言和非谣言的概率注意：在LSTM网络中返回的值为最后一个时间片的输出，而不是将整个output全部输出，因为我们是需要捕捉整个语句的语义信息，并不是获得特定时间片的数据。
【NLP】LSTM理解（Pytorch实现）
myaijarvis notebook
05-03 2284
【参考：详解LSTM - 知乎】 手动实现 【参考：30、PyTorch LSTM和LSTMP的原理及其手写复现_哔哩哔哩_bilibili】 单层单向 【参考：30 - LSTM,LSTMP手撸代码_取个名字真难呐的博客-CSDN博客】 import torch from torch import nn torch.manual_seed(0) # 设置随机种子，随机函数生成的结果会相同 batch_size = 2 # 批次大小 seq_len = 3 # 输入序列长度 input_siz
LSTM实现时间序列预测(PyTorch版)
CSDN 精品推荐
01-09 1万+
为了训练数据，首先定义LSTM模型，然后再定义对应的损失函数，由于我们这里是风速预测，显然是个回归问题，所以采用回归问题常用的MESLoss()，如果可以的话，可以自定义损失函数，针对自己的项目需求定义对应的损失函数。对于优化器来讲，使用的也是目前常用的Adam优化器，对于新手来讲也可以多多尝试其它的优化器，比如SGDRMSprop等，对于优化器的选择，可以参考这篇文章Pytorch 30种优化器总结。
PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
KI的博客
06-12 3万+
PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测
Pytorch实现的LSTM、RNN模型结构
知识搬运者
09-19 4579
LSTM的另外两个输入是 h0 和 c0，可以理解成网络的初始化参数，用随机数生成即可。
【pytorch】LSTM神经网络
lijf2001的博客
07-27 3001
在处理时序数据，已经有和两个比较经典的网络。当然还有一种LSTM神经网络，长短期记忆神经网络。从发展历史来看，是现有LSTM再有GRU的，但是从复杂度来看，LSTM比GRU更加复杂。先来回忆一下GRU，其有两个门（更新门和重置门），有一个记录历史信息的向量Ht​。而LSTM就更加复杂了，无论是在门的数量上还是记录历史信息的向量上。...
【pytorch】pytorch lstm实现
zkq_1986的博客
07-20 1875
lstm里，多层之间传递的是输出ht ，同一层内传递的细胞状态（即隐层状态） 看pytorch官网对应的参数nn.lstm(*args，**kwargs)， 默认传参就是官网文档的列出的列表传过去。对于后面有默认值（官网在参数解释第一句就有if啥的，一般传参就要带赋值号了。） 官网案例对应的就是前三个。input_size，hidden_size，num_layers Parmerters: input_size– The number of expected features in the i.
人工智能(Pytorch)搭建模型2-LSTM网络实现简单案例
微学AI的博客
03-15 1万+
LSTM网络是一种特殊的循环神经网络，它能够学习处理序列中的长期依赖性，而不会受到梯度消失或梯度爆炸的影响。LSTM中的关键组成部分是门控机制，它允许网络选择性地丢弃或保留信息。在训练过程中，LSTM网络通过反向传播算法自动调整门控单元的参数，使其能够更好地适应数据。PyTorch是一个基于Python的深度学习框架，提供了自动求导机制、强大的GPU支持和动态图等特性。PyTorch搭建神经网络的具体步骤都是按照以上模板进行搭建的，大家可以记住以上步骤。：决定从前一个时间步的记忆状态中删除哪些信息。
利用pytorch简单实现LSTM
zycxnanwang的博客
05-12 2万+
利用pytorch简单实现LSTM LSTM的概念 通过观看李宏毅的RNN视频 视频链接 july关于LSTM的讲解 博客链接 基本了解了LSTM的概念和原理 我觉得两张图就足以概括LSTM 这张图完全展示了LSTM前向反向传播的全部过程, 想深入了解的可以参考july的博客 这是李宏毅老师视频里面的一张图，清晰得展示了forget Gate, inputGate, o...
使用Pytorch从零开始构建LSTM
GarryWang1248的博客
11-23 1万+
虽然 LSTM 是一种 RNN，其功能与传统 RNN 类似，但它的门控机制使其与众不同。该功能解决了 RNN 的“短期记忆”问题。从图中我们可以看出，差异主要在于 LSTM 保存长期记忆的能力。这在大多数自然语言处理 (NLP) 或时间序列和顺序任务中尤其重要。例如，假设我们有一个网络根据给我们的一些输入生成文本。文章开头提到作者有一只“名叫克里夫的狗”。在其他几个没有提到宠物或狗的句子之后，作者再次提到了他的宠物，模型必须生成下一个单词“但是，克里夫，我的宠物____”。
【深度学习】Pytorch实现LSTM
aha_e的博客
09-19 610
如图中，左二右三共五个公式，
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值