LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结

最新推荐文章于 2024-08-21 10:25:32 发布
最新推荐文章于 2024-08-21 10:25:32 发布
阅读量7.3k 收藏 35
点赞数 5
分类专栏： 深度学习机器学习理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HUSTHY/article/details/104755737
版权

 

目录

一、LSTM原理

遗忘门

输入门

细胞状态更新

输出门

LSTM数学模型

二、lstm的实现

三 、lstm学习参数总量分析一级pytorch框架下lstm输入总结

1、学习参数总量分析

2、pytorch中lstm模型输入的说明

关于参数量和Layernum和是否双向的关系：

四、lstm简单应用场景的总结

        RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问题和RNN梯度消失和爆炸的原因

一、LSTM原理

首先来看看LSTM的总体结构图：

图中一些节点和网络的含义解释如下：

LSTM的核心理念就是采用门控机制来实现信息的长距离传递，从而来削弱梯度消失和梯度爆炸的问题。LSTM主要的是3个门和一个细胞状态来实现它的功能的。

遗忘门

它的作用就是控制是否遗忘的——在LSTM中以一定的概率控制是否遗忘上一层或者上一节点的或者上一时刻的细胞状态。它的结构如下图：

在这里插入图片描述

图中的f_t就是遗忘门。右边的公式就是遗忘门的具体实现，它输出是0和1之间的数字。h_t_-_1是上一节点的输出状态，x_t当前时刻的输入。\sigma是sigmoid激活函数，W_f和b_f就是学习参数。

输入门

当前时刻的输入，对于全局来说怎么样，是否很重要，这个就需要输入门来控制了。输入门的目的就是来判断当前输入对于整个全局来说的重要性。当输入门打开的时候，网络就讲不考虑当前输入，那么当前输入的信息就不会被传递到下一节点或者时刻。只有当输入门关闭的时候，当前输入的信息就会传递到后续的节点或者时刻。结构如下图：

在这里插入图片描述

由两部分组成，分别由sigmoid和tanh激活函数来激活。

细胞状态更新

在经过遗忘门和输入门的处理后，会得到一部分的信息，这些信息就会被存储起来，然后传递到后续节点或者时刻。也就是说细胞状态更新的是由遗忘门和输入门的结果联合决定的。看结构原理图：

在这里插入图片描述

当输入门闭合时它的值是1，遗忘门打开时它的值是0。这里的Ct能够存储以前和当前相关的信息，即使长距离也能够保存，从思想上就能解决长距离依赖问题。Ct得到更新后，然后专递给下一节点或者时刻。

输出门

输出门的作用就是把最后的内容输出。这里输出的内容是来自Ct、ht-1和Xt。这里还有一个过滤机制，Ot来判定Ct那些信息是有用的，那些是无用的，然后把有用的信息输出。结构图：

在这里插入图片描述

结构图中的数学公式已经很清晰的构建出来LSTM的数学模型，为了进一步理解LSTM模型的参数，构建更加详细的数学模型。

LSTM数学模型

对比pytorch官网实现lstm给出的数学公式：

 

 

二、lstm的实现

       关于lstm的实现，这里直接参考博文——pytorch 学习 | 使用pytorch动手实现LSTM模块；代码中只实现了time-step为1的情况，我这里稍微做了修改，实现了输入序列长度的time-step的sltm。代码如下：

代码段 小部件

然后使用pytorch的LSTM模块儿实现以下LSTM，代码：

    lstm = nn.LSTM(10,20,batch_first=True)
    reset_weights(lstm)
    output, (ht, ct) = lstm(inputs, (h0, c0))
    print('nn.LSTM from pytorch:')
    print('output:', output)
    print('ht:', ht)
    print('ct:', ct)
    print('output.size():', output.size())
    print('ht.size():', ht.size())
    print('ct.size():', ct.size())

看看最后他们的输出结果是什么样的，期望应该是一样的，那么证明我们自己实现打lstm并没有错误，结果展示：

对比发现，给与同样的输入，输出结果完全一样。

 

三 、lstm学习参数总量分析一级pytorch框架下lstm输入总结

1、学习参数总量分析

       直接从数学模型和我们自己实现的lstm模型代码来看，总体的学习参数只有4个部分：它们分别是输入门、遗忘门、输出门和细胞状态对应的学习参数。这4个部分的学习参数数量是一模一样的。对于给定inputsize和hidden_size，得出lstm模型的参数量有：

代码段 小部件

检测一下参数总量(hidden_size = 20;input_size=10)，上代码:

    print('NaiveLstm:')
    for name,param in my_lstm.named_parameters():
        print(name,param.size())

    print('\n')
    print('nn.LSTM from pytorch:')
    for name,param in lstm.named_parameters():
        print(name,param.size())

上结果图：

我们自己实现的lstm参数量：4*[(10+20+1+1)*20]=2560

pytorch中的lstm模块的参数量：80*32 = 2560

一模一样！说明上面我们自己实现的lstm模型没有问题，并且参数的总量公式也没有问题！

2、pytorch中lstm模型输入的说明

首选看看LSTM模型的构建代码：

self.rnn = nn.LSTM(
            input_size = INPUT_SIZE, 
            hidden_size = HIDDEN_SIZE, 
            num_layers = LAYERS,
            dropout = DROP_RATE,
            batch_first = True,    # 如果为True，输入输出数据格式是(batch, seq_len, feature)
                                  # 为False，输入输出数据格式是(seq_len, batch, feature)
            bidirectional = False     #单双向的lstm控制
        )

在使用lstm的时候，输入3个变量以及输出结果的shape如下：

output, (ht, ct) = lstm(inputs, (h0, c0))
注意inputs,h0,c0和output, (ht, ct)它们的shape：注意到num_directions就是1和2
1、当batch_first = True时：
inputs:[batch_size,seq_length,input_size]
h0:[batch_size,num_layers*num_directions,hidden_size]
c0:[batch_size,num_layers*num_directions,hidden_size]
output:[batch_size,seq_length,num_directions*hidden_size]
ht:[batch_size,num_layers*num_directions,hidden_size]
ct:[batch_size,num_layers*num_directions,hidden_size]
2、当batch_first = False时：
inputs:[seq_length,batch_size,input_size]
h0:[num_layers*num_directions,batch_size,hidden_size]
c0:[num_layers*num_directions,batch_size,hidden_size]
output:[seq_length,batch_size,num_directions*hidden_size]
ht:[num_layers*num_directions,batch_size,hidden_size]
ct:[num_layers*num_directions,batch_size,hidden_size]

补充一下：

值得注意的是，我们的输入inputs:[batch_size,seq_length,input_size]中的input_size在NLP中就相当于每个字、词向量的wordembedding维度，这个input_size也是lstm输入的input_size；另外lstm的hidden_size就是自己定义的，就是想得到的lstm输出是一个什么样的hidden_size,和输入向量X的input_size以及seq_length是没有直接意义上的关联的。

关于参数量和Layernum和是否双向的关系：

对于单向的LSTM，参数空间在layer_num不同情况下就有不同的参数空间：

#num_layers=1，单向
LSTM(10, 20, batch_first=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
params total: 2560


#num_layers=2，单向
LSTM(10, 20, num_layers=2, batch_first=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
weight_ih_l1 torch.Size([80, 20])
weight_hh_l1 torch.Size([80, 20])
bias_ih_l1 torch.Size([80])
bias_hh_l1 torch.Size([80])
params total: 5920


#num_layers = 3，单向
LSTM(10, 20, num_layers=3, batch_first=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
weight_ih_l1 torch.Size([80, 20])
weight_hh_l1 torch.Size([80, 20])
bias_ih_l1 torch.Size([80])
bias_hh_l1 torch.Size([80])
weight_ih_l2 torch.Size([80, 20])
weight_hh_l2 torch.Size([80, 20])
bias_ih_l2 torch.Size([80])
bias_hh_l2 torch.Size([80])
params total: 9280

总结：参数总量为：[4*[(input_size+hidden_size)+1+1]*hidden_size]+[4*[(hidden_size+hidden_size)+1+1]*hidden_size]*(layer_num-1)

当lstm为双向的话：

#layer_num=1,num_direction=2
LSTM(10, 20, batch_first=True, bidirectional=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
weight_ih_l0_reverse torch.Size([80, 10])
weight_hh_l0_reverse torch.Size([80, 20])
bias_ih_l0_reverse torch.Size([80])
bias_hh_l0_reverse torch.Size([80])
params total: 5120


#layer_num=2,num_direction=2
LSTM(10, 20, num_layers=2, batch_first=True, bidirectional=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
weight_ih_l0_reverse torch.Size([80, 10])
weight_hh_l0_reverse torch.Size([80, 20])
bias_ih_l0_reverse torch.Size([80])
bias_hh_l0_reverse torch.Size([80])
weight_ih_l1 torch.Size([80, 40])
weight_hh_l1 torch.Size([80, 20])
bias_ih_l1 torch.Size([80])
bias_hh_l1 torch.Size([80])
weight_ih_l1_reverse torch.Size([80, 40])
weight_hh_l1_reverse torch.Size([80, 20])
bias_ih_l1_reverse torch.Size([80])
bias_hh_l1_reverse torch.Size([80])
15040


#layer_num=3,num_direction=2
LSTM(10, 20, num_layers=3, batch_first=True, bidirectional=True)
nn.LSTM from pytorch:
weight_ih_l0 torch.Size([80, 10])
weight_hh_l0 torch.Size([80, 20])
bias_ih_l0 torch.Size([80])
bias_hh_l0 torch.Size([80])
weight_ih_l0_reverse torch.Size([80, 10])
weight_hh_l0_reverse torch.Size([80, 20])
bias_ih_l0_reverse torch.Size([80])
bias_hh_l0_reverse torch.Size([80])
weight_ih_l1 torch.Size([80, 40])
weight_hh_l1 torch.Size([80, 20])
bias_ih_l1 torch.Size([80])
bias_hh_l1 torch.Size([80])
weight_ih_l1_reverse torch.Size([80, 40])
weight_hh_l1_reverse torch.Size([80, 20])
bias_ih_l1_reverse torch.Size([80])
bias_hh_l1_reverse torch.Size([80])
weight_ih_l2 torch.Size([80, 40])
weight_hh_l2 torch.Size([80, 20])
bias_ih_l2 torch.Size([80])
bias_hh_l2 torch.Size([80])
weight_ih_l2_reverse torch.Size([80, 40])
weight_hh_l2_reverse torch.Size([80, 20])
bias_ih_l2_reverse torch.Size([80])
bias_hh_l2_reverse torch.Size([80])
params total: 24960

总结：参数总量为：[4*[(input_size+hidden_size)+1+1]*hidden_size]*num_dirction+[4*[(hidden_size*2+hidden_size)+1+1]*hidden_size]*num_dirction*(layer_num-1)

四、lstm简单应用场景的总结

1、CV和语音识别领域

2、NLP中：文本分类、情感分析、文本生成和命名实体识别——目前比较主流的方法就是lstm+CRF

其实关于应用场景目前我了解的不多，这些场景都是从网上找到的，自己动手实践的场景并没有，接下来想把lstm+CRF给做一做，其实文本分类和情感分析应该有其他更好的算法或者模型可供选择！传统的机器学习算法或者bert模型。

 

 

 

参考文章

LSTM模型介绍——文章中的LSTM结构图直接用的

三次简化一张图：一招理解LSTM/GRU门控机制

pytorch 学习 | 使用pytorch动手实现LSTM模块

总结PYTORCH中nn.lstm(自官方文档整理 包括参数、实例)

 

 

 

 

 

 

 

 

 

 

colourmind
关注
专栏目录
长短时记忆网络LSTM原理与代码实例讲解
程序员光剑
07-16 934
长短时记忆网络LSTM原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在深度学习领域，尤其是在处理序列数据时，比如语音识别、自然语言处理、时间序列预测等领域，序列数据的特征往往具有时间上的依赖性。传统神经网络模型，如RNN（循环
长短时记忆网络(LSTM)在机器翻译中的应用：基于神经网络的方法
程序员光剑
07-16 3009
作者：禅与计算机程序设计艺术 近年来，神经网络在机器学习领域得到了广泛的应用。其中最具代表性的是卷积神经网络(CNN)，它用于计算机视觉领域图像识别、目标检测、自然语言处理等任务；循环神经网络(RNN)，它主要用于序列建模任务如文本分类、时间序列预测等；而长短时记忆网络(LSTM)，则被广泛应用于序列建模任务中。 本文将从深度学习方法角度
pytorch入门：pytorch实现 LSTM ,GRU,RNN
AI路漫漫
01-27 2102
pytorch实现 LSTM ,GRU,RNN
【Pytorch】nn.LSTM的理解
qq_37880748的博客
08-25 1万+
Pytorch中的nn.LSTM Pytorch中LSTM总共有7个参数，前面3个是必须输入的 input_size – The number of expected features in the input x hidden_size – The number of features in the hidden state h num_layers – Number of recurrent layers. E.g., setting num_layers=2 would mean stackin
神经网络算法--文搞懂LSTM(长短期记忆网络)
最新发布
2401_85328934的博客
08-21 1795
本文将从三个方面，带您一文搞懂长梯度更新规则。
【pytorch】LSTM神经网络
lijf2001的博客
07-27 2760
在处理时序数据，已经有和两个比较经典的网络。当然还有一种LSTM神经网络，长短期记忆神经网络。从发展历史来看，是现有LSTM再有GRU的，但是从复杂度来看，LSTM比GRU更加复杂。先来回忆一下GRU，其有两个门（更新门和重置门），有一个记录历史信息的向量Ht​。而LSTM就更加复杂了，无论是在门的数量上还是记录历史信息的向量上。...
LSTM原理及实现
北冥有小鱼
08-01 1万+
转自：https://blog.csdn.net/gzj_1101/article/details/79376798 LSTM原理及实现 ...
Pytorch_lstm详细讲解
热门推荐
To be a better man
12-13 3万+
1.详细讲解官方文档的例子： 这里有个老哥先带你回顾一下lstm的理论知识： pytorch中lstm参数与案例理解。_wangwangstone的博客-CSDN博客_torch.lstm RNN_了不起的赵队-CSDN博客_rnn 这里主要要领清楚堆叠lstm层，使用的hidden state从lstm1着一层传到lstm2着一层，而不是一行中的几个lstm1单元连在一块的意思。 这个图就可以理解为3个lstm1连在一块了，...
Python-在PyTorch中使用LSTM进行风速预测
08-11
在PyTorch中使用LSTM进行风速预测
pytorch中的LSTM
fly_Xiaoma的博客
07-01 877
RNN和RNNCell层的区别在于前者能处理整个序列，而后者一次只处理序列中一个时间点的数据，前者封装更完备更易于使用，后者更具灵活性。RNN层可以通过调用RNNCell来实现 # -*- coding: utf-8 -*- #@Time :2019/7/1 22:41 #@Author :XiaoMa import torch as t from torch.autograd imp...
Pytorch中的LSTM
weixin_30293135的博客
03-26 83
class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size：x的特征维度 hidden_size：隐藏层的特征维度 num_layers：lstm隐层的层数，默认为1 bias：False则bih=0和bhh=0. 默认为True batch_first：True则输入输出的数据格式为 (batch, seq, feature) dr...
LSTM原理以及基于PyTorch的LSTM实现MNIST手写数字
艾文
01-06 4225
循环神经网络让神经网络有了记忆, 对于序列话的数据,循环神经网络能达到更好的效果. 我们将图片数据看成一个时间上的连续数据, 每一行的像素点都是这个时刻的输入, 读完整张图片就是从上而下的读完了每行的像素点. 然后我们就可以拿出 RNN 在最后一步的分析值判断图片是哪一类了 下面，我们手写数字的RNN import torch from torch import nn import torchvi...
LSTM 原理
weixin_42330675的博客
03-23 9636
lstm原理
Pytorch实现的LSTM、RNN模型结构
知识搬运者
09-19 3247
LSTM的另外两个输入是 h0 和 c0，可以理解成网络的初始化参数，用随机数生成即可。
理解LSTM网络
Deep Learning and NLP Farm
11-16 3463
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
LSTM的参数量计算
cz的博客
06-22 2433
LSTM里面的参数量
LSTM基本原理
金色妖精的备忘录
05-25 959
LSTM循环体中的内部实现原理。
【机器学习】LSTM模型原理
shuaixio的博客
12-06 1万+
RNN概念与网络结构，LSTM概念与网络结构，RNN和LSTM的关系，LSTM的要素
LSTM神经网络的简单理解
chenouo的博客
11-03 2048
递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是...
LSTM长短时记忆网络
11-07
LSTM是一种循环神经网络(RNN)的变体，它可以有效地解决原始RNN的短时记忆问题。LSTM通过引入三个门控单元(input gate、forget gate、output gate)和一个记忆单元(memory cell)来实现长期依赖信息的学习和记忆。其中，input gate用于控制新输入信息的更新，forget gate用于控制旧信息的遗忘，output gate用于控制输出信息的选择。LSTM的记忆单元可以在不同的时间步长中保留和传递信息，从而使得LSTM可以学习和记忆长期依赖的信息，因此在语音识别、图片描述、自然语言处理等领域中得到了广泛的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值