LSTM模型结构讲解

最新推荐文章于 2024-05-09 23:45:48 发布
最新推荐文章于 2024-05-09 23:45:48 发布
阅读量2.6w 收藏 201
点赞数 57
分类专栏： Tensorflow 文章标签： LSTM
原文链接：https://www.jianshu.com/p/9dc9f41f0b29
版权

人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。

传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。

RNN 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。

                                                  

在上面的示例图中，神经网络的模块A正在读取某个输入x{_i} ，并输出一个值h{_i} 。循环可以使得信息从当前步传递到下一步。

这些循环使得 RNN 看起来非常神秘。然而，如果你仔细想想，这样也不比一个正常的神经网络难于理解。RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这个循环展开：

展开的 RNN

链式的特征揭示了 RNN 本质上是与序列和列表相关的。他们是对于这类数据的最自然的神经网络架构。

我建议大家参考 Andrej Karpathy 的博客文章——The Unreasonable Effectiveness of Recurrent Neural Networks 来看看更丰富有趣的 RNN 的成功应用。

而这些成功应用的关键之处就是 LSTM 的使用，这是一种特别的 RNN，比标准的 RNN 在很多的任务上都表现得更好。几乎所有的令人振奋的关于 RNN 的结果都是通过 LSTM 达到的。这篇博文也会就 LSTM 进行展开。

1.长期依赖（Long-Term Dependencies）问题

RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个，他们就变得非常有用。但是真的可以么？答案是，还有很多依赖因素。

有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后的词，我们并不需要任何其他的上下文 —— 因此下一个词很显然就应该是 sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。

不太长的相关信息和位置间隔

但是同样会有一些更加复杂的场景。假设我们试着去预测“I grew up in France... I speak fluent French”最后的词。当前的信息建议下一个词可能是一种语言的名字，但是如果我们需要弄清楚是什么语言，我们是需要先前提到的离当前位置很远的 France 的上下文的。这说明相关信息和当前预测位置之间的间隔就肯定变得相当的大。

不幸的是，在这个间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。

相当长的相关信息和位置间隔

在理论上，RNN 绝对可以处理这样的 长期依赖 问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 肯定不能够成功学习到这些知识。Bengio, et al. (1994)等人对该问题进行了深入的研究，他们发现一些使训练 RNN 变得非常困难的相当根本的原因。

然而，幸运的是，LSTM 并没有这个问题！

2. RNN与LSTM的对比

RNN:
在这里插入图片描述
LSTM:
在这里插入图片描述
其中的notation：
在这里插入图片描述

这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。

通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。
在这里插入图片描述
从上图也可以看出，原来的一个RNN cell只需要存储一个隐藏层状态h，而一个LSTM cell需要存储两个状态c和h。
在这里插入图片描述
LSTM比RNN多了一个细胞状态，就是最上面一条线（也就是c），像一个传送带，信息可以不加改变的流动。即Ct-2可能和Ct+1存储的信息可能非常相似，所以LSTM可以解决RNN长依赖的问题。

3. LSTM信息的流动

在这里插入图片描述
一个LSTM cell有3个门，分别叫做遗忘门（f门），输入门（i门）和输出门（o门）。要注意的是输出门的输出ot并不是LSTM cell最终的输出，LSTM cell最终的输出是ht和ct。
这三个门就是上图中三个标着σ的黄色的框。sigmoid层输出0-1的值，表示让多少信息通过，1表示让所有的信息都通过。

LSTM的输入： C{_{t-1}},h{_{t-1}}​和x{_{t}} 
LSTM的输出： C{_t},h{_t}

注意上面公式中的∗是对应元素乘，而不是矩阵的乘法

（1）忘记门：扔掉信息(细胞状态)

å¨è¿éæå¥å¾çæè¿°

第一步是决定从细胞状态里扔掉什么信息（也就是保留多少信息）。将上一步细胞状态中的信息选择性的遗忘 。
实现方式：通过sigmoid层实现的“忘记门”。以上一步的h{_{t-1}}​和这一步的x{_{t}} ​作为输入，然后为C{_{t-1}}​里的每个数字输出一个0-1间的值，记为f_{t}，表示保留多少信息（1代表完全保留，0表示完全舍弃）
例子：让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的类别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。
例如，他今天有事，所以我… 当处理到‘’我‘’的时候选择性的忘记前面的’他’，或者说减小这个词对后面词的作用。

（2）输入层门：存储信息(细胞状态)

å¨è¿éæå¥å¾çæè¿°

第二步是决定在细胞状态里存什么。将新的信息选择性的记录到细胞状态中。 实现方式：包含两部分，
       1.sigmoid层（输入门层）决定我们要更新什么值，这个概率表示为i{_t} 
       2.tanh层创建一个候选值向量\widetilde{C{_t}}​，将会被增加到细胞状态中。 我们将会在下一步把这两个结合起来更新细胞状态。
例子：在我们语言模型的例子中，我们希望增加新的主语的类别到细胞状态中，来替代旧的需要忘记的主语。 例如：他今天有事，所以我…当处理到‘’我‘’这个词的时候，就会把主语我更新到细胞中去。

更新细胞状态（细胞状态）

在这里插入图片描述
注意上面公式中的∗是对应元素乘，而不是矩阵的乘法

更新旧的细胞状态
实现方式： f_{t}表示忘记上一次的信息C{_{t-1}}的程度，i{_t}表示要将候选值\widetilde{C{_t}}​加入的程度， 这一步我们真正实现了移除哪些旧的信息（比如上一句的主语），增加哪些新信息，最后得到了本细胞的状态C{_t} ​。

（3）输出层门：输出（隐藏状态）

å¨è¿éæå¥å¾çæè¿°

最后，我们要决定作出什么样的预测。 实现方式：

  1. 我们通过sigmoid层（输出层门）来决定输出的本细胞状态C{_t} 的哪些部分；
  2. 然后我们将细胞状态通过tanh层（使值在-1~1之间），然后与sigmoid层的输出相乘得到最终的输出h{_t} ​。

所以我们只输出我们想输出的部分。 例子：在语言模型的例子中，因为它就看到了一个 代词，可能需要输出与一个 动词相关的信息。例如，可能输出是否代词是单数还是复数，这样如果是动词的话，我们也知道动词需要进行的词形变化。
例如：上面的例子，当处理到‘’我‘’这个词的时候，可以预测下一个词，是动词的可能性较大，而且是第一人称。 会把前面的信息保存到隐层中去。

4.LSTM的各个变量

在这里插入图片描述
⊙ 是element-wise乘，即按元素乘

介绍下各个变量的维度，LSTM cell的输出h{_t} 的维度是黄框里隐藏层神经元的个数，记为d，即矩阵W{_f},W{_i},W{_c},W{_o}​的行数。t 时刻LSTM cell的输入x{_{t}}的维度记为 n，最终的输入是h{_{t-1}}和x{_{t}}的联合，即[h{_{t-1}}​, x{_{t}}] ，其维度是d+n，所有矩阵（包括W{_f},W{_i},W{_c},W{_o}​）的维度都是[d，d+n]，所有的向量包括(b{_f},b{_i},b{_c},b{_o}​,f{_t},i{_t},o{_t},h{_{t}},h{_{t-1}},C{_t},C{_{t-1}}和​\widetilde{C{_t}})维度都是d。（为了表示、更新方便，我们将bias放到矩阵里）
以fW{_f}举例：
在这里插入图片描述
同理：
在这里插入图片描述
合并为一个矩阵就是：
在这里插入图片描述

5.LSTM 的变体

我们到目前为止都还在介绍正常的 LSTM。但是不是所有的 LSTM 都长成一个样子的。实际上，几乎所有包含 LSTM 的论文都采用了微小的变体。差异非常小，但是也值得拿出来讲一下。

其中一个流形的 LSTM 变体，就是由 Gers & Schmidhuber (2000) 提出的，增加了 “peephole connection”。是说，我们让 门层 也会接受细胞状态的输入。

peephole 连接

上面的图例中，我们增加了 peephole 到每个门上，但是许多论文会加入部分的 peephole 而非所有都加。

另一个变体是通过使用 coupled 忘记和输入门。不同于之前是分开确定什么忘记和需要添加什么新的信息，这里是一同做出决定。我们仅仅会当我们将要输入在当前位置时忘记。我们仅仅输入新的值到那些我们已经忘记旧的信息的那些状态 。

coupled 忘记门和输入门

另一个改动较大的变体是 Gated Recurrent Unit (GRU)，这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的 更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

GRU

这里只是部分流行的 LSTM 变体。当然还有很多其他的，如Yao, et al. (2015) 提出的 Depth Gated RNN。还有用一些完全不同的观点来解决长期依赖的问题，如Koutnik, et al. (2014) 提出的 Clockwork RNN。

要问哪个变体是最好的？其中的差异性真的重要吗？Greff, et al. (2015) 给出了流行变体的比较，结论是他们基本上是一样的。Jozefowicz, et al. (2015) 则在超过 1 万种 RNN 架构上进行了测试，发现一些架构在某些任务上也取得了比 LSTM 更好的结果。

Jozefowicz等人论文截图

结论

刚开始，我提到通过 RNN 得到重要的结果。本质上所有这些都可以使用 LSTM 完成。对于大多数任务确实展示了更好的性能！

由于 LSTM 一般是通过一系列的方程表示的，使得 LSTM 有一点令人费解。然而本文中一步一步地解释让这种困惑消除了不少。

LSTM 是我们在 RNN 中获得的重要成功。很自然地，我们也会考虑：哪里会有更加重大的突破呢？在研究人员间普遍的观点是：“Yes! 下一步已经有了——那就是注意力！” 这个想法是让 RNN 的每一步都从更加大的信息集中挑选信息。例如，如果你使用 RNN 来产生一个图片的描述，可能会选择图片的一个部分，根据这部分信息来产生输出的词。实际上，Xu, et al.(2015)已经这么做了——如果你希望深入探索注意力可能这就是一个有趣的起点！还有一些使用注意力的相当振奋人心的研究成果，看起来有更多的东西亟待探索……
注意力也不是 RNN 研究领域中唯一的发展方向。例如，Kalchbrenner, et al. (2015) 提出的 Grid LSTM 看起来也是很有前途。使用生成模型的 RNN，诸如Gregor, et al. (2015) Chung, et al. (2015) 和 Bayer & Osendorfer (2015) 提出的模型同样很有趣。在过去几年中，RNN 的研究已经相当的燃，而研究成果当然也会更加丰富！

 

 

 

Sophia$
关注
  • 57
    点赞
  • 踩
  • 201
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
LSTM模型
小k要加油的博客
12-08 1万+
LSTM比RNN复杂很多，RNN只有一个参数矩阵A，LSTM有4个（遗忘门，输入门，更新值，输出门） LSTM有一个非常重要的传输带Ct，过去的信息通过这个传输带送给下一时刻，不会发生太大变化，并且通过这个传输带避免梯度消失的问题 LSTM有很多门让信息有选择的通过 遗忘门： 将a向量待入sigmod函数得到相对应的f值，然后将这个f值与c传输带相乘得到output，当的值为0时，output也会相应的等于0，那么该条信息就不通过，当值为1时，output输出c本身，该条信...
LSTM模型介绍
热门推荐
张启宇(Joey Zhang)的专栏
02-04 5万+
递归神经网络（RNN） 人类不会每时每刻都开始思考。 当你阅读这篇文章时，你会根据你对之前单词的理解来理解每个单词。 你不会忘掉掉所有东西，然后再从头开始思考。 你的想法有持久性。 传统的神经网络不能做到这一点，这是一个主要的缺点。 例如，假设您想要对电影视频中每个点发生的事件进行分类。 目前尚传统神经网络无法利用其对电影中先前事件的推理来预测后者。 循环神经网络解决了这个问题。 它们是带有循环的...
Pytorch实现的LSTM、RNN模型结构
知识搬运者
09-19 1855
LSTM的另外两个输入是 h0 和 c0，可以理解成网络的初始化参数，用随机数生成即可。
LSTM的三个门一个状态图解
m0_73084262的博客
05-05 1264
1.遗忘门 2.输入门 3.new value 4.输出门
【LSTM】LSTM网络及参数学习笔记
最新发布
shuaixio的博客
05-09 1637
LSTM网络结构，LSTM网络参数，超参含义
lstm结构图_LSTM学习笔记
weixin_39736007的博客
11-22 694
大纲Long Short Term Memory NetworkBi-directtional LSTMStatistical Machine TranslationMultimodal learningSeq2Seq ModelLong Short Term Memory Network在上一篇RNN讲到，RNN存在梯度消失或爆炸问题, 假如我们来设计一个网络来解决这个问题，怎么来设计呢？思路1...
【机器学习】一文搞懂算法模型之：LSTM
商务合作 | 面试培训 | 职场规划 ==>主页扫码
03-21 7876
一文搞懂算法模型之：LSTM
LSTM输入输出各参数
tangweirensheng的博客
12-07 3555
torch.nn.LSTM(*args, kwargs)** 参数 – input_size – hidden_size – num_layers – bias – batch_first – dropout – bidirectional LSTM的输入 input, (h_0, c_0) – input (seq_len, batch, input_size) – h_0 (num_layers * num_directions, batch, hidden_size) # 初始的隐藏状态 – c_.
LSTM模型内部结构
MyHeartWillGoOn
12-09 2463
LSTM模型 LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象 LSTM核心结构 遗忘门 输入门 细胞状态 输出门 LSTM的内部结构图 结构解释图: 遗忘门 遗忘门部分结构图与计算公式 遗忘门结构分析 与传统RNN的内部结构计算非常相似, 首先将当前时间步输入x(t)与上一个时间步隐含状态h(t-1)拼接, 得到[x(t), h(t-1)],
深度学习基础（六）：LSTM模型及原理介绍 深度学习原理.pdf
04-13
深度学习基础（六）：LSTM模型及原理介绍是深度学习系列的第六篇，主要讲解了LSTM模型及原理。LSTM（Long Short Term Memory）是一种特殊类型的RNN（Recurrent Neural Networks），可以学习长期依赖信息。 在传统的...
深度学习--LSTM模型写诗实战视频精讲
06-10
**深度学习中的LSTM模型详解** LSTM（Long Short-Term Memory）是循环神经网络（RNN，Recurrent Neural Network）的一种变体，专为解决传统RNN在处理长期依赖问题时遇到的梯度消失和梯度爆炸问题而设计。在自然语言...
最简单的LSTM 讲解，附源码可运行
10-14
在提供的`L2.py`文件中，我们可以看到LSTM模型的构建和训练过程。通常，这会涉及以下步骤： 1. **导入必要的库**：如`tensorflow`, `keras`等，这些库提供了构建和训练神经网络的API。 2. **数据预处理**：加载`...
cnn+lstm+attention对时序数据进行预测
02-18
本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，生成三维时序数据块 建立模型，卷积层-bilstm层-attention按顺序建立，attention层可放中间也可放前面，效果各不相同 训练...
lstm_matlab-master.rar
02-08
2. **数据集**：可能有 `.mat` 或文本文件，用于训练和测试LSTM模型。 3. **配置文件**：如 `config.m`，可能包含了网络结构和训练参数的设定。 4. **脚本**：启动和运行模型的脚本，如 `run_example.m`。 5. **结果...
LSTM架构详解
深圳湾刘能的博客
05-25 1万+
LSTM 是深度学习中很常见也很有用的一种算法，特别是在自然语言处理中更是经常用到，那么 LSTM 架构中的内部结构又是什么样子的呢？首先我们来看 LSTM 的整体框架: 在这幅图中，中间是一个 LSTM 模块，有三个输入分别是：ct−1{c^{t - 1}}ct−1、ht−1{h^{t - 1}}ht−1 和 xtx^txt，然后经过 LSTM 之后，输出分别是 ct{c^t}ct、ht{h^...
LSTM详解
真滴不可理喻的博客
01-22 1404
一文看懂LSTM，LSTM三维图示
LSTM的输入输出是怎样的？
xifenglie123321的博客
03-20 1037
要注意的是，这个RNN模型中只有一个A，不同的时间戳下对应的A的参数是一样的，只是不同时间戳下A的输入和输出可能不同。在MLP的介绍中我们已经指出MLP的叠加是完全连接的，但是RNN的叠加是相同时间戳对应单元的叠加，所以我们看到A1出来的h0只进入了A2第一个时间戳单元，并没有进入后面的单元。看完上面的介绍，也许你会觉得ht，比如h0就是一个数值，但是这并不是必须的，比如在tensorflow中ht可以是一个向量，我们可以指定ht的长度。如果理解了RNN的结构，那对LSTM的理解是几乎一样的。
pytorch lstm模型代码讲解
05-11
在 PyTorch 中，LSTM 模型可以通过 `torch.nn.LSTM` 来实现。下面是一个简单的例子，讲解如何使用 PyTorch 实现 LSTM 模型。 首先，我们需要导入必要的包： ```python import torch import torch.nn as nn ``` 接着，我们定义一个 LSTM 模型类 `LSTMModel`。在这个类中，我们需要定义 LSTM 模型的输入维度、隐藏层维度、LSTM 层数、输出维度、以及 dropout 概率。这些参数将在类的初始化函数 `__init__` 中进行设置。 ```python class LSTMModel(nn.Module): def __init__(self, input_dim, hidden_dim, layer_dim, output_dim, dropout_prob): super(LSTMModel, self).__init__() # 定义 LSTM 模型的参数 self.hidden_dim = hidden_dim self.layer_dim = layer_dim # 定义 LSTM 层 self.lstm = nn.LSTM(input_dim, hidden_dim, layer_dim, batch_first=True) # 定义 dropout 层 self.dropout = nn.Dropout(p=dropout_prob) # 定义全连接层 self.fc = nn.Linear(hidden_dim, output_dim) ``` 在 `forward` 函数中，我们需要传入模型的输入数据 `x`，并将它传入 LSTM 层中。LSTM 层的输出包括两个部分：LSTM 的输出 `out` 和最后一个时间步的隐藏状态 `h_n` 和记忆单元状态 `c_n`。我们取 `out[:, -1, :]` 作为最后一个时间步的输出，并将它传入全连接层中得到模型的输出。在 `forward` 函数中，我们还需要添加 dropout 层以避免过拟合。 ```python def forward(self, x): # 初始化隐藏状态和记忆单元状态 h0 = torch.zeros(self.layer_dim, x.size(0), self.hidden_dim).requires_grad_() c0 = torch.zeros(self.layer_dim, x.size(0), self.hidden_dim).requires_grad_() # 将输入传入 LSTM 层中 out, (hn, cn) = self.lstm(x, (h0.detach(), c0.detach())) # 取最后一个时间步的输出，并传入全连接层中 out = self.dropout(out[:, -1, :]) out = self.fc(out) return out ``` 最后，我们实例化一个 LSTM 模型并定义损失函数和优化器： ```python # 实例化 LSTM 模型 input_dim = 28 hidden_dim = 100 layer_dim = 1 output_dim = 10 dropout_prob = 0.2 model = LSTMModel(input_dim, hidden_dim, layer_dim, output_dim, dropout_prob) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() learning_rate = 0.1 optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate) ``` 这样，我们就可以使用 PyTorch 实现 LSTM 模型了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值