LSTM、GRU

LSTM

理解：传统的神经网络无法预测接下来的信息，而 循环神经网络（RNN） 可以解决序列数据前后关联的问题。它的主要用途是处理和预测序列数据，在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。

LSTM：长短期记忆网络。比方说“某地开设大量工厂，空气污染十分严重……天空都变成了灰色”，如果我们的模型要试着预测这句话的最后一个词“灰色”时，仅仅根据短期依赖无法完成，因为如果不看上文“空气污染十分严重”我们是无法知道天空是“蓝色”还是“灰色”。因此，当前预测位置和相关信息之间的文本间隔比较大，当这个间隔比较大时，简单的循环神经网络就会丧失学习到如此远的信息的能力。LSTM就是用来解决这样的问题。

LSTM网络是一个拥有三个“门”的特殊网络结构，依次为“遗忘门”、“输入门”、“输出门”。通过这三个门，LSTM能更加有效的决定哪些信息被遗忘，哪些信息被保留，它主要可以解决远距离的信息的学习。
1、遗忘门：作用于记忆细胞状态，作用效果：选择性遗忘记忆细胞中的信息
2、输入门： 作用于记忆细胞状态，作用效果：将新的信息选择性的记录到新的细胞状态中
3、输出门：作用于输入和隐层输出。

GRU

• 在经典的循环神经网络中，状态的传输均是从前往后单向的。然而，在某些文本信息分析中，当前时刻的输出不仅和之前的状态信息有关联，也和后面时刻的状态信息相关。 因此就需要双向循环神经网络来处理该问题。双向神经网络通过将两个循环神经网络上下叠加在一起构成双向循环神经网络，输出由两个循环神经网络的状态共同决定。通过正向隐藏层和逆向隐藏层分别从两个方向来处理序列化数据，并将它们的输出合并起来作为输出层的输入，从而实现真正意义上的全局上下文分析。

• GRU与LSTM相比，LSTM有三个门，而GRU与之相比少了一个门，所带来的差异是，GRU需要的参数更少了，训练的更快，也加快了模型的收敛。而传统的LSTM都是单向的数据传递，GRU可以改进为双向GRU模型，也就是上面提到了不仅利用当前状态之后的数据，同时还利用此状态之前的数据，这样做的好处是在某些文本句子分析中，是需要联系上下文才能判断句子的极性的，双向GRU正是解决了这类问题。