一、LSTM(Long-Short-Term-Memories)
LSTM由输入门,遗忘门,输出门和一个cell组成。
第一步是决定从cell状态中丢弃什么信息,然后在决定有多少新的信息进入到cell状态中,最终基于目前的cell状态决定输出什么样的信息。
LSTM单元结构图及其公式
1、计算遗忘门,选择要遗忘的信息。
输入:前一时刻的隐层状态,当前时刻的输入词
输出:遗忘门的值
2、计算输入门,选择要记忆的信息。
输入:前一时刻的隐层状态,当前时刻的输入词
输出:输入门的值,临时细胞状态
3、计算当前时刻细胞状态
输入:输入门的值,遗忘门的值,临时细胞状态,上一刻细胞状态
输出:当前时刻细胞状态
4、计算输出门和当前时刻隐层状态
输入:前一时刻的隐层状态,当前时刻的输入词 ,当前时刻细胞状态
输出:输出门的值,隐层状态
5、最终,我们可以得到与句子长度相同的隐层状态序列{, , ..., }。
二、GRU(Gated Recurrent Units)
GRU由重置门和更新门组成,其输入为前一时刻隐藏层的输出和当前的输入,输出为下一时刻隐藏层的信息。
- 重置门用来计算候选隐藏层的输出,其作用是控制保留多少前一时刻的隐藏层。
- 更新门的作用是控制加入多少候选隐藏层的输出信息,从而得到当前隐藏层的输出。
GRU单元结构图及其公式
三、知识点
1、LSTM和GRU的区别?
- GRU和LSTM的性能在很多任务上不分伯仲。
- GRU 参数更少因此更容易收敛,但是数据集很大的情况下,LSTM表达性能更好。
- 从结构上来说,GRU只有两个门(update和reset),LSTM有三个门(forget,input,output),GRU直接将hidden state 传给下一个单元,而LSTM则用memory cell 把hidden state 包装起来。
2、LSTM如何来避免梯度弥散和梯度爆炸?(知乎)
- LSTM只能避免RNN的梯度消失(gradient vanishing);
- 梯度爆炸(gradient explosion)不是个严重的问题,一般靠裁剪后的优化算法即可解决,比如gradient clipping(tf.clip_by_norm函数,如果梯度的范数大于某个给定值,将梯度同比收缩)。
RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。
- MLP/CNN 中不同的层有不同的参数,各是各的梯度;而 RNN 中同样的权重在各个时间步共享,最终的梯度 g = 各个时间步的梯度 g_t 的和。
- 综上所述原因,RNN 中总的梯度是不会消失的。即便梯度越传越弱,那也只是远距离的梯度消失,由于近距离的梯度不会消失,所有梯度之和便不会消失。
- RNN 所谓梯度消失的真正含义是,梯度被近距离梯度主导,导致模型难以学到远距离的依赖关系。
从RNN梯度消散的本质原因说起:
- 由于时间维度共享了参数矩阵,导致计算隐态 ht 时会循环计算矩阵乘法,所以BPTT算法求解梯度时出现了参数矩阵的累乘 。
LSTM解决问题的本质:
- 引入了gate机制,把矩阵乘法变成了element-wise的哈达马积(逐位相乘)。
- 特别地这样做之后,记忆状态 Ct 更新公式变为(下图),这样的方式本质上类似Highway Network 或者ResNet(残差连接),使得梯度的信息可以“贯穿”时间线,缓解梯度消散。
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://www.zhihu.com/question/29411132/answer/65577301
3、LSTM的参数量
有100个句子,其中一个句子有8个词,然后所有的句子都被padding成20个,每个词的向量维度是128维,那么:
1.)lstm的cell就有20个 ?是
- 在深度学习网络框架中,一个lstm cell指的是一层的LSTM,所以按照这个理解,该网络的lstm cell数量为time-step。所以lstm的cell就有20个。
2) lstm的unit=128 ?不一定
3)那超参数有多少个呢?(因为未指定Vocab size,不便计算结果)
- 你指的LSTM参数应该指包括embedding层的整个网络的参数的数量。LSTM的参数计算公式
num(Embedding) + num(LSTM) =
(Word embedding dim * Vocab size)
+ 4* (hidden size * (hidden size + x_dim ) + hidden size)
其中
- cell的units_num(又称hidden size或output size)
- Word embedding dim (又称x_dim)
4)100这个值又对应的lstm这个函数的哪个参数呢?
- 100为样本的数量,和LSTM的参数没有对应关系。
5)输出的维度是自己定的吗,还是由哪个参数定的呢?
- 一个(一层)LSTM cell输出的维度大小即output size(hidden size),具体需要你在代码中设置。如:LSTM_cell(unit=128)。
- 在Pytorch中为hiddensize,在tensorflow中为num_units。