LSTM原理详解(pytorch 附带BiLSTM)

最新推荐文章于 2024-08-21 10:25:32 发布
最新推荐文章于 2024-08-21 10:25:32 发布
阅读量5.5k 收藏 56
点赞数 11
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Miranda_ymz/article/details/107411192
版权
本文深入探讨LSTM的工作原理，包括Forget、Input和Output门的计算，以及BiLSTM的扩展。通过PyTorch的torch.nn.LSTM源码解析，了解LSTM网络的参数含义和输入输出结构。适合于理解LSTM在处理序列数据，尤其是文本数据时的角色。
摘要由CSDN通过智能技术生成

本文是自己在项目中用到的部分学习了之后的一些理解和整理，希望对你学习过程中有所帮助，有啥问题欢迎评论一起讨论。

目录

1、LSTM原理

2、BiLSTM原理

3、pytorch torch.nn.LSTM 源码理解

参考资料

1、LSTM原理

LSTM网络（Long short-term memory，长短期记忆网络）是一种特殊的RNN，能够学习长期依赖关系，它们是由Hochreiter＆Schmidhuber（1997）[4]提出的，并在随后的工作中被许多人改进和推广。

LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。

总的来说就是它的结构如下图所示，一个格格代表一个LSTM单元

主要由三个门构成:  forget gate,input gate,output gate具体的计算公式如下：

Forget gate：

这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。

其中x_t为当前时刻的输入，h_{t-1}为上一时刻输出的隐状态向量，σ表示sigmoid方程，其他都是一些可训练参数

Input gate：

这个阶段将这个阶段的输入有选择性地进行“记忆”

其中c_t为细胞状态向量

Output gate：

这个阶段将决定哪些将会被当成当前状态的输出。

 

比如一句话[你，好，啊，我，是，X，X，X]输入到LSTM

时刻1：你 == x_1 通过计算 得到 c_1,h_1

时刻2：好 ==

最低0.47元/天 解锁文章
DeathYmz
关注
专栏目录
LSTM神经网络的简单理解
chenouo的博客
11-03 2051
递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是...
pytorch实现BiLSTM
轻舟已过万重山
11-07 2785
import torch.nn as nn class BidirectionalLSTM(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(BidirectionalLSTM, self).__init__() self.rnn = nn.LSTM(input_size, hidden_size, bidirectional=True, batch_first
神经网络算法--文搞懂LSTM(长短期记忆网络)
最新发布
2401_85328934的博客
08-21 1829
本文将从三个方面，带您一文搞懂长梯度更新规则。
LSTM原理及实现
北冥有小鱼
08-01 1万+
转自：https://blog.csdn.net/gzj_1101/article/details/79376798 LSTM原理及实现 ...
LSTM原理详解
热门推荐
yanglee0
07-30 6万+
0. 从RNN说起 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。 1. 普通RNN 先简单介绍一下一般的RNN。 其主要形式如下图所示（图片均来自台大李宏毅教授的PPT）： 2. LSTM 2.1 什么是LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，
LSTM 原理
weixin_42330675的博客
03-23 9663
lstm原理
pytorch利用LSTM实现对股票进行多变量多步预测
09-10
首先，我们需要理解LSTM的工作原理。LSTM是一种特殊的循环神经网络（RNN），设计用于解决传统RNN在处理长期依赖问题时的梯度消失或爆炸问题。LSTM通过门控机制（输入门、遗忘门和输出门）来控制信息的流动，从而更好...
基于pytorch从头实现了单向，多层，双向LSTM，给出了完整使用代码,并与torch自带的LSTM进行了对比实验
02-24
自定义实现LSTM可以帮助理解其工作原理，并且可能在某些情况下提供更高的灵活性，例如微调参数或优化计算效率。 **对比实验** 对比实验通常包括以下几个方面： 1. **训练速度**：比较自定义实现和内置LSTM的训练...
pytorch中biLSTM输出
lz的博客
03-30 1910
前向、后向LSTM分离 BiLSTM的输出output是两个方向结果的concat形式 # num_directions=0, 表示前向结果 # num_directions=1, 表示反向结果 output.view(seq_len, batch, num_directions, hidden_size) concat输出 参考 https://blog.csdn.net/qq_27061325/article/details/89463460 ...
基于PyTorch框架，使用LSTM网络对股票价格进行预测Python源码
02-14
基于PyTorch框架，使用LSTM网络对股票价格进行预测Python源码 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心...
LSTM原理
辰出灬子归
05-31 2611
前言 Tip：        该博客里的内容是博主学习的一些心路历程，期间也会查阅一些其他博客和文献，还有一些自己的理解，可能会存在一些理解不正确的地方。如果阅读这篇博客请带着学习和质疑两种心态。如有问题，欢迎指出。 LSTM理论 1.LSTM介绍        LSTM（Long Sho...
lstm处理时序数据结构图_LSTM原理与实践，原来如此简单
weixin_39685674的博客
10-27 1032
LSTM原理与实践，原来如此简单首发于公众号：机器学习荐货情报局 做干货最多的公众号，关注了不吃亏原创不易，转载请标明出处目录一、介绍1.1 LSTM介绍LSTM全称Long Short-Term Memory，是1997年就被发明出来的算法，作者是谁说了你们也记不住干脆就不说了（主要是我记不住，逃...）经过这么多年的发展，基本上没有什么理论创新，唯一值得说的一点也就是加入了Dropout来...
LSTM基本原理
金色妖精的备忘录
05-25 960
LSTM循环体中的内部实现原理。
bilstm文本分类pytorch
08-17
你好！对于使用BiLSTM进行文本分类的PyTorch代码，你可以参考以下示例： ```python import torch import torch.nn as nn import torch.optim as optim from torchtext.data import Field, TabularDataset, BucketIterator # 定义模型 class BiLSTMClassifier(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim): super(BiLSTMClassifier, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.lstm = nn.LSTM(embedding_dim, hidden_dim, bidirectional=True) self.fc = nn.Linear(hidden_dim * 2, output_dim) def forward(self, text): embedded = self.embedding(text) output, (hidden, cell) = self.lstm(embedded) hidden = torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1) return self.fc(hidden) # 数据预处理 TEXT = Field(tokenize='spacy', lower=True) LABEL = Field(sequential=False, is_target=True) datafields = [('text', TEXT), ('label', LABEL)] train_data, test_data = TabularDataset.splits( path='path/to/dataset', train='train.csv', test='test.csv',
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值