Deep Learning学习笔记之循环神经网络（二）

LSTM——Long Short-Term Memory

长短时记忆网络，即Long Short-Term Memory，LSTM

其整体结构如图所示

$$关于其sigmoid函数,用于三个门控单元部分,\sigma (x)=\frac{1}{1+e^{-x}}$$
网络中的其余两个激活函数为tanh函数

对于以上结构，我们分别进行解释
遗忘门

记忆门

遗忘门与旧状态相乘，遗忘掉确定丢弃的信息；记忆门与候选细胞单元相乘，确定进行记忆的信息
两者相加，更新细胞状态，从c^<t-1>为c^<t>

输出门，先将之前所得 的结果c^<t>放入tanh，再与sigmoid处理后的输出门相乘获得输出h^<t>

整体看来，图例中从左到右分别为遗忘门、记忆门、输出门，共同组成一层的LSTM单元

将最小单元不断重复，得到长短时记忆网络

长短时记忆网络，可以学习长期依赖信息。由于遗忘门（和输入门）的存在，能够处理梯度消失等情况

---

GRU——Gated Recurrent Unit

门控循环单元，即Gated Recurrent Unit，GRU。可以看作是LSTM的一种简化形式

对于GRU的确切结构，如下所示

与LSTM的三个门控单元不同，GRU只使用两个门控单元：重置门与更新门
首先确定重置门，是否丢弃上一个时间步的状态，由F_r获得这一时间步的候选隐藏状态
再确定更新门，即更新隐藏状态的一个参数。F_u是在新时间步的隐藏状态中，继承自上一时间步的隐藏状态的部分，1-F_u则是新时间步中所得候选隐藏状态的比重