门控循环单元(GatedRecurrentUnit，GRU)网络是一种比 LSTM 网络更加简单的循环神经网络。
和 LSTM 不同，GRU 不引入额外的记忆单元，GRU 网络引入一个更新门(Up-date Gate)来控制当前状态需要从历史状态中保留多少信息(不经过非线性变换)，以及需要从候选状态中接受多少新信息。同时还有一个重置门，控制从历史状态中有多少信息被写入到当前的候选状态中，重置门的值越小，历史状态的信息被写入的越少。
前向传播
下图是GRU的结构图。
从中可以看出，有两个门，一个非线性激活函数 tanh \tanh tanh组成的隐藏层。
这里 z t z_t zt是更新门， r t r_{t} rt是重置门. z t ∈ [ 0 , 1 ] D , r t ∈ [ 0 , 1 ] D z_{t} \in[0,1]^{D}, \boldsymbol{r}_{t} \in[0,1]^{D} zt∈[0,1]D,rt∈[0,1]D. 首先对于更新门，有
z t ~ = x t W z x + h t − 1 W z h + b z z t = σ ( z t ~ ) \begin{aligned} \widetilde{z_{t}}&=x_{t} W_{z x}+h_{t-1} W_{z h}+b_{z}\\ z_{t}&=\operatorname{\sigma}\left(\tilde{z_{t}}\right)\\ \end{aligned} zt
zt=xtWzx+ht−1Wzh+bz=σ(zt~)
然后对于重置门，有
r t ~ = x t W r x + h t − 1 W r h + b r r t = σ ( r t ~ ) \begin{aligned} \widetilde{r_{t}}&=x_{t} W_{r x}+h_{t-1} W_{r h}+b_{r}\\ r_{t}&=\operatorname{\sigma}\left(\widetilde{r_{t}}\right)\\ \end{aligned} rt
rt=xtWrx+ht−1Wrh+br=σ(rt
)
当输入状态 x t x_t xt进入后， 首先分别输出到两个门。在状态线中， x t x_{t} xt与权重矩阵 W s x W_{sx} Wsx相乘，重置门 r t r_{t} rt与上一时刻的隐藏状态 h t − 1 h_{t-1} ht−1做向量元素相乘，然后向量加和成为隐藏层的输入向量
s t = x t W s x + ( r t ⊙ h t − 1 ) W s h + b s h ~ t = tanh ( s t ) s_{t}=x_{t} W_{s x}+\left(r_{t} \odot h_{t-1}\right) W_{s h}+b_{s}\\ \tilde{h}_{t}=\tanh \left(s_{t}\right) st=xtWsx+(rt⊙ht−1)Wsh+bsh~t=tanh(st)
经过激活函数隐藏层后，有了向量输出，也就是候选状态 。 h t ~ 。\widetilde{h_t} 。ht
这里 r t r_t rt控制候选状态 h t ~ \widetilde{h_t} ht
是否依赖于上一时刻的 h t − 1 h_{t-1} ht−1。当 r t = 0 r_t=0 rt=0， 候选状态 h t ~ \tilde{h_t} ht~只与当前输入有关；当 r t = 1 r_t=1 rt=1时，候选状态与当前时刻输入 x t x_t xt以及上一时刻隐藏状态 h t − 1 h_{t-1} h
最低0.47元/天 解锁文章
扫一扫
1580
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
