LSTM理解及代码Demo

LSTM原理

关于LSTM的原理很多大神的博客都介绍的非常详细了，这里简要的介绍一下，参考的博客和链接见文末。

RNN 在实际的应用中最主要的问题就是不能很好的捕捉到远程依赖，这是由它本身的性质决定的，尽管误差可以往后传播，但是由于梯度消失，很难调整前面的神经网络层。

而LSTM最主要的思想在于引入了遗忘门和更新门和输出门的思想，遗忘门表示对未来信息的丢失权重，更新门表示对当前信息的更新权重。

遗忘门，根据上一个时刻的$h_{t-1}$和当前时刻的$x_t$计算出， 允许上一个时刻的$C^{t-1}$通过的权重是多少，1表示全部通过，0表示全部丢弃。

更新们则根据上一个时刻的$h_{t-1}$和当前时刻的$x_t$计算出, 允许当前时刻的$C^{\ast t-1}$通过的权重是多少，1表示全部通过，0表示全部丢弃。

最后，更新当前时刻的$C^t$，最后根据输出门计算得到隐藏层的输出：

GRU原理

GRU 里面 $Z_t$表示更新门，有当前输入和上个隐层输出计算得到，表示当前的输入有多少传递到当前的隐层，$r_t$为记忆门，表示上个时刻的隐层输出有多少传递到当前层的输出。

区别

• GRU结构比较简单，计算代价较小，可以把网络设计的很深
• LSTM 结构复杂，性能比较强大，但是计算量比较大

样例代码

在循环神经网络中有很多中结构，输入输出可以是不同的长度，对应得到不同的结构，比如下图所示：

1-1

输入长度为1，输出长度也为1的，这种情况和传统的神经网络一样，一个输入得到一个输出。

1-N

1和输入，N个输出的情况有2种，一个是每个时刻都是x作为输入，如下图所示：

还有一种情况就是最开始有1个输入，以后的输入都是上一个时刻的输出。

N-1

输入长度为N，输出长度为1的模型，典型的例子有给定一段评论，需要评定用户的情感得分。

N-N

输入长度为N，输出长度也为N，也就是输入长度等于输出长度的情况，比较典型的有实体命名识别的任务，判断当前这个词汇是不是命名实体的一部分，还有比较典型的是序列生成，输入是当前这个序列，输出是移动一位的下一个词汇。

N-M

输入长度为N，输出长度为M的情况，输入长度和输出长度不等，最典型的情况就是翻译，具体做法是先对输入做一个编码，全部存在在一个结构中，然后依次对这个信息做解码，输出翻译的语句。

本打算把每种情况的 demo 代码都整理一下，放上去，时间不够了，先搁在这里。

参考文献

• LSTM/GRU原理1
• LSTM/GRU原理2
• LSTM/GRU原理3
• 序列网络经典结构