LSTM-小记

1、循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。但如果一个句子过长，RNN就会忘记自己一开始说了什么。
2、长短时记忆网络（Long Short-Term Memory，LSTM）是RNN的一种扩展，是为了解决一般的RNN存在的长期依赖问题而专门设计出来的。
通俗的讲，LSTM能够记住重要的信息，丢掉不重要的信息，从而引入了”门“这种机制，门是用来决定信息如何保留的开关，有忘记门，输入门，输出门。忘记门决定了要保留哪些原有的信息（丢掉不重要的记忆），输入门决定了当前信息中有多少要被保存（记住哪些新东西），输出门决定了哪些会被输出。门的数值是在0到1之间，0表示完全舍弃，1表示完全保留。
3、GRU（gated recurrent units）与LSTM非常相似，只有两个门，一个重置门和一个更新门。更新门相当是忘记门和输入门的结合体，决定丢弃哪些旧信息，添加哪些新信息，重置门决定写入多少上一时刻的网络状态，用来捕捉短期记忆。GRU相比较LSTM来说结构更简洁，计算更高效，效果与LSTM不相上下。