两种门控循环网络——LSTM、GRU
LSTM——Long Short-Term Memory
长短时记忆网络,即Long Short-Term Memory,LSTM
其整体结构如图所示
关
于
其
s
i
g
m
o
i
d
函
数
,
用
于
三
个
门
控
单
元
部
分
,
σ
(
x
)
=
1
1
+
e
−
x
关于其sigmoid函数,用于三个门控单元部分,\sigma(x)= \frac{1}{1+e^{-x}}
关于其sigmoid函数,用于三个门控单元部分,σ(x)=1+e−x1
网络中的其余两个激活函数为tanh函数
对于以上结构,我们分别进行解释
遗忘门
记忆门
遗忘门与旧状态相乘,遗忘掉确定丢弃的信息;记忆门与候选细胞单元相乘,确定进行记忆的信息
两者相加,更新细胞状态,从c<t-1>为c<t>
输出门,先将之前所得 的结果c<t>放入tanh,再与sigmoid处理后的输出门相乘获得输出h<t>
整体看来,图例中从左到右分别为遗忘门、记忆门、输出门,共同组成一层的LSTM单元
将最小单元不断重复,得到长短时记忆网络
长短时记忆网络,可以学习长期依赖信息。由于遗忘门(和输入门)的存在,能够处理梯度消失等情况
GRU——Gated Recurrent Unit
门控循环单元,即Gated Recurrent Unit,GRU。可以看作是LSTM的一种简化形式
对于GRU的确切结构,如下所示
与LSTM的三个门控单元不同,GRU只使用两个门控单元:重置门与更新门
首先确定重置门,是否丢弃上一个时间步的状态,由Fr获得这一时间步的候选隐藏状态
再确定更新门,即更新隐藏状态的一个参数。Fu是在新时间步的隐藏状态中,继承自上一时间步的隐藏状态的部分,1-Fu则是新时间步中所得候选隐藏状态的比重