【自然语言处理】 LSTM和GRU

【LSTM】
为了解决长期依赖的问题，对RNN进行改进提出了LSTM。LSTM通过设计门限结构解决长期依赖问题，在标准RNN的基础上增加了四个神经网络层，通过LSTM网络包括四个输入：当前时刻的输入信息、遗忘门、输入门、输出门和当前时刻网络的输出。各个门上的激活函数使用Sigmoid，其输出在0-1之间，可以定义各个门是否被打开或者打开的程度，赋予了它去除或者添加信息的能力。

1. 遗忘门：遗忘门作用于t-1时刻的记忆单元，根据输入和上一时刻的状态决定之前的信息有多少要被保留。
2. 输入门：输入门决定更新记忆单元的信息，根据输入和上一时刻的状态决定输入的信息有多少要被保留。包括相乘的两个部分，一个是Sigmoid层(决定输入中的信息要被保留多少)，另一个是tanh层(决定输入哪些信息)，二者都作用于当前时刻的输入和上一时刻的输出。区别在于，tanh层从新的输入和网络原有的记忆信息决定要被写入到新的神经网络状态中的候选值，而Sigmoid层决定这些候选值有多少被实际写入。
3. 输出门：输出门的功能是读取刚更新过的神经网络状态，也就是记忆单元进行输出。

【GRU】
GRU在保持LSTM效果的情况下，将遗忘门和输入门整合成一个更新门，同时还将单元状态和隐藏层状态合并。因为GRU比标准的LSTM少了一个门限层，使得其训练速度更快、更方便构建更复杂的网络。