莫烦pytorch 什么是LSTM 循环神经网络

最新推荐文章于 2023-12-07 21:48:15 发布
最新推荐文章于 2023-12-07 21:48:15 发布
阅读量561 收藏 2
点赞数
分类专栏： pytorch 文章标签： pytorch 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kstheme/article/details/99991653
版权

RNN的弊端
在这里插入图片描述
之前我们说过，RNN是在有顺序的数据上进行学习的。为了记住这些数据，RNN会像人一样产生对先前发生事件的记忆。不过一般形式的RNN就像一个老爷爷，有时候比较健忘。为什么会这样呢？
在这里插入图片描述
想象现在有这样一个RNN，他的输入值是一句话：“我今天要做红烧排骨, 首先要准备排骨, 然后…., 最后美味的一道菜就出锅了”。现在请RNN来分析，我今天做的到底是什么菜呢。RNN可能会给出“辣子鸡”这个答案。由于判断失误，RNN就要开始学习这个长序列X和‘红烧排骨’的关系，而RNN需要的关键信息“红烧排骨”却出现在句子开头，
在这里插入图片描述
再来看看RNN是怎样学习的吧。红烧排骨这个信息原的记忆要经过长途跋涉才能抵达最后一个时间点。然后我们得到误差，而且在反转传递得到的误差的时候，他在每一步都会乘以一个自己的参数W。如果这个W是一个小于1的数，比如0.9。这个0.9不断乘以误差，误差传到初始时间点也会是一个接近于零的数，所以对于初始时刻，误差相当于就消失了。我们把这个问题叫做梯度消失或者梯度消失或者梯度弥散 Gradient vanishing。反之如果W是一个大于1的数，比如1.1不断累乘，则最后变成了无穷大的数，RNN被这无穷大的数撑死了，这种情况我们叫做梯度爆炸，Gradient exploding。这就是普通RNN没有办法回忆起超久远记忆的原因。

LSTM
在这里插入图片描述

LSTM就是为了解决这个问题而诞生的。LSTM和普通RNN相比，多出了三个控制器。（输入控制，输出控制，忘记控制）。现在，LSTM RNN内部的情况是这样。

他多了一个控制全局的记忆，我们用粗线代替。为了方便理解，我们把粗线想象成电影或游戏当中的主线剧情。而原本的RNN体系就是分线剧情。三个控制器都是在原始的RNN体系上，我们先看输入方面，如果此时的分线剧情对于剧终结果十分重要，输入控制就会将这个分线剧情按重要程度写入主线剧情进行分析。再看忘记方面，如果此时的分线剧情更改了我们对之前剧情的想法，那么忘记控制就会将之前的某些主线剧情忘记，按比例替换成现在的新剧情。所以主线剧情的更新就取决于输入和忘记控制。最后的输出方面，输出控制会基于目前的主线剧情和分线剧情判断要输出的到底是什么。基于这些控制机制，LSTM就像延缓记忆衰退的良药，可以带来更好的结果。

拓展：

PyTorch 中的 LSTM模型参数解释

pytorch nn.LSTM()参数详解

Kstheme
关注
专栏目录
[Python人工智能] 十四.循环神经网络LSTM RNN回归案例之sin曲线预测
杨秀璋的专栏
01-10 1万+
从本专栏开始，作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前一篇文章详细讲解了如何评价神经网络，绘制训练过程中的loss曲线，并结合图像分类案例讲解精确率、召回率和F值的计算过程。本篇文章将分享循环神经网络LSTM RNN如何实现回归预测，通过sin曲线拟合实现如下图所示效果。本文代码量比较长，但大家还是可以学习下的。基础性文章，希望对您有所帮助！
[Python人工智能] 四十六.PyTorch入门 (1)环境搭建、神经网络普及和Torch基础知识
最新发布
杨秀璋的专栏
06-20 546
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解合如何利用keras和tensorflow构建基于注意力机制的CNN-BiLSTM-ATT-CRF模型，并实现中文实体识别研究。这篇文章将介绍PyTorch入门知识。前面我们的Python人工智能主要以TensorFlow和Keras为主，而现在最主流的深度学习框架是PyTorch。结合读者建议和个人爱好，接下来我们将分享PoTorch入门文章，希望对初学者有所帮助。
pytorch下使用LSTM神经网络写诗实例
12-23
在pytorch下，以数万首唐诗为素材，训练双层LSTM神经网络，使其能够以唐诗的方式写诗。 代码结构分为四部分，分别为 1.model.py，定义了双层LSTM模型 2.data.py，定义了从网上得到的唐诗数据的处理方法 3.utlis.py 定义了损失可视化的函数 4.main.py定义了模型参数，以及训练、唐诗生成函数。 参考：电子工业出版社的《深度学习框架PyTorch：入门与实践》第九章 main代码及注释如下 import sys, os import torch as t from data import get_data from model import PoetryM
【深度学习入门】LSTM之Pytorch实现
feng1768的博客
12-07 613
所采用的数据没有实际意义，数据间也没有关联特征，仅用此数据来跑通LSTM网络完成一次训练，用做模版使用。大家好，我是峰峰1768，这是一篇供深度学习beginner学习流程使用的文章。输入特征是3维，输出标签是1维，用LSTM来实现多变量输入单变量输出。本次训练共训练80个epoch,一次训练的batch大小是32个数据。并将数据放入DataLoader ，一个batch大小是32个。输入3个特征，隐藏层有64个神经元，一层网络，输出是1个标签；这个训练结果，数据没有什么意义，仅做流程演示和做为模版使用。
用pytorch实现循环神经网络LSTM。
qq_45259277的博客
10-04 2104
用一个小例子来练习pytorch实现lstm
【深度学习】Pytorch实现LSTM
aha_e的博客
09-19 426
如图中，左二右三共五个公式，
Pytorch实现的LSTM、RNN模型结构
知识搬运者
09-19 3587
LSTM的另外两个输入是 h0 和 c0，可以理解成网络的初始化参数，用随机数生成即可。
莫烦-pytorch
wangy55的博客
04-12 951
莫烦-pytorch
龙格库塔迭代与基于pytorch的RNN循环神经网络在正弦函数拟合效果上的有趣对比
weixin_46047216的博客
05-26 1926
突发奇想，如果将龙格库塔迭代的曲线拟合与深度学习中的RNN循环神经网络的曲线拟合做一个对比，会出现什么意想不到的效果？答案当然是龙格库塔迭代效果更好，杀鸡焉用牛刀？但是，在某些特殊情况下，比如我们很难对微分方程求导的时候，我们该如何对原方程进行拟合呢？这时候，机器学习就派上用场了。 首先介绍一下龙格库塔法（Runge-Kutta method): 一、龙格库塔迭代是数值分析课程中接触过的也是用途十分广泛的高精度单步算法，误差可以小到10^-5以下。我们常用的是四阶龙格库塔法，已知导数和初始值： y′=f(x
pytorch深度学习：RNN循环神经网络（二）
qq_37333048的博客
12-09 586
上一节了解到了RNN和LSTM的基础知识，这节我们使用LSTM网络对mnist手写数字数据集进行处理。重点了解LSTM网络的搭建方法以及各个参数所代表的含义。 1.问题的提出 我们知道RNN一般是用来处理具有时间序列的数据，但是mnist数据集是图像数据，怎么进行处理呢？这里我们将mnist手写字数据的每行当作不同时间点的数据，也就是一张图片是由28个时间序列数据组成，即Time_step=28，每个时间序列数据包含28个像素点，也就是Input_size=28。第一步，我们来创建一些超参数： # 定义一些
莫烦Python基础笔记
09-29
莫烦Python视频笔记，对于Python的基础知识学习有较大的帮助，里面摘录了一些代码
使用Pytorch从零开始构建LSTM
GarryWang1248的博客
11-23 7469
虽然 LSTM 是一种 RNN，其功能与传统 RNN 类似，但它的门控机制使其与众不同。该功能解决了 RNN 的“短期记忆”问题。从图中我们可以看出，差异主要在于 LSTM 保存长期记忆的能力。这在大多数自然语言处理 (NLP) 或时间序列和顺序任务中尤其重要。例如，假设我们有一个网络根据给我们的一些输入生成文本。文章开头提到作者有一只“名叫克里夫的狗”。在其他几个没有提到宠物或狗的句子之后，作者再次提到了他的宠物，模型必须生成下一个单词“但是，克里夫，我的宠物____”。
莫烦pytorch学习笔记（十三）——LSTM循环神经网络
liuhongkai111的博客
08-03 2077
高级神经网络——LSTM循环神经网络 RNN的弊端 之前我们说过, RNN 是在有顺序的数据上进行学习的. 为了记住这些数据, RNN 会像人一样产生对先前发生事件的记忆. 不过一般形式的 RNN 就像一个老爷爷, 有时候比较健忘. 为什么会这样呢? 想像现在有这样一个 RNN, 他的输入值是一句话: ‘我今天要做红烧排骨, 首先要准备排骨, 然后…., 最后美味的一道菜就出锅了’, shu...
LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结
HUSTHY的博客
03-10 7613
RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...
lstm python_5.8 莫烦 Python RNN LSTM 循环神经网络 (分类例子)
weixin_36118025的博客
01-14 335
RNN LSTM 循环神经网络 (分类例子)作者:Morvan 编辑:Morvan学习资料:机器学习-简介系列什么是RNN本代码基于网上这一份代码code本节的内容包括:设置 RNN 的参数这次我们会使用 RNN 来进行分类的训练 (Classification). 会继续使用到手写数字 MNIST 数据集. 让 RNN 从每张图片的第一行像素读到最后一行, 然后再进行分类判断. 接...
【pytorch】pytorch-LSTM
weixin_30307267的博客
11-06 121
pytorch-LSTM() torch.nn包下实现了LSTM函数，实现LSTM层。多个LSTMcell组合起来是LSTM。 LSTM自动实现了前向传播，不需要自己对序列进行迭代。 LSTM的用到的参数如下：创建LSTM指定如下参数，至少指定前三个参数 input_size: 输入特征维数 hidden_size: 隐层状态的维数 num_layers: RNN层的个数，...
人工智能(Pytorch)搭建模型2-LSTM网络实现简单案例
热门推荐
weixin_42878111的博客
03-15 1万+
LSTM网络是一种特殊的循环神经网络，它能够学习处理序列中的长期依赖性，而不会受到梯度消失或梯度爆炸的影响。LSTM中的关键组成部分是门控机制，它允许网络选择性地丢弃或保留信息。在训练过程中，LSTM网络通过反向传播算法自动调整门控单元的参数，使其能够更好地适应数据。PyTorch是一个基于Python的深度学习框架，提供了自动求导机制、强大的GPU支持和动态图等特性。PyTorch搭建神经网络的具体步骤都是按照以上模板进行搭建的，大家可以记住以上步骤。：决定从前一个时间步的记忆状态中删除哪些信息。
Tensorflow学习： RNN-LSTM应用于MNIST数据分类
Eric2016_Lv的博客
05-03 2888
本文内容： 1. RNN 2. 转自周莫烦的youtube视频，代码为原作者的Github# View more python learning tutorial on my Youtube and Youku channel!!!# Youtube video tutorial: https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcg
LSTM学习笔记
taku
09-28 756
1. 原理：描述一下细胞状态和三个门。 LSTM的公式推导详解 简单理解LSTM LSTM（长效短期记忆神经网络）是一种特殊的RNN，它能够学习到较长的依赖关系（注意是较长，太长了也不行）。 细胞状态和三个门结构，遗忘门，输入输出门。 第一步是决定从细胞状态中丢弃什么信息（图一），由“忘记门”的Sigmoid层实现（0代表不通过任何信息，1代表全部通过）。 下一步决定我们要在细...
LSTM循环神经网络pytorch
09-07
你想要了解如何使用PyTorch实现LSTM循环神经网络吗？ 在PyTorch中，你可以使用`torch.nn.LSTM`模块来实现LSTM循环神经网络。以下是一个简单的示例代码，展示了如何定义和使用LSTM网络： ```python import torch import torch.nn as nn # 定义LSTM网络 class LSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTM, self).__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) out, _ = self.lstm(x, (h0, c0)) out = self.fc(out[:, -1, :]) return out # 定义输入维度、隐藏层维度、隐藏层数量和输出维度 input_size = 10 hidden_size = 20 num_layers = 2 output_size = 1 # 创建LSTM实例 lstm = LSTM(input_size, hidden_size, num_layers, output_size) # 定义输入数据 batch_size = 3 sequence_length = 5 input_data = torch.randn(batch_size, sequence_length, input_size) # 前向传播计算输出 output = lstm(input_data) print(output.shape) # 输出形状: (3, 1) ``` 这个示例代码定义了一个简单的LSTM网络，并使用随机生成的输入数据进行前向传播计算。你可以根据自己的需求修改网络结构和输入数据的维度。 希望以上代码对你有所帮助！如果你有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值