GRU(Gated Recurrent Unit)
一个带门的RNN
一般RNN模型中，每个元素受其周围附近的影响较大，难以建立跨度较大的依赖性。由于跨度较大，普通的RNN模型就容易出现梯度消失，捕捉不到他们之间的依赖，造成语法错误。
其中， a < t > a^{<t>} a<t>的表达式为
a < t > = t a n h ( W a [ a < t − 1 > , x < t > ] + b a ) a^{<t>} = tanh(W_a[a^{<t-1>},x^{<t>}]+b_a) a<t>=tanh(Wa[a<t−1>,x<t>]+ba)
这个结构的缺点是阻断了 a < t > a^{<t>} a<t>与 a < t − 1 > a^{<t-1>} a<t−1>的直接性联系，相当于少了一个记忆单元，记住 a < t − 1 > a^{<t-1>} a<t−1>,这是造成梯度消失的主要原因。
因此，为了解决梯度消失问题，对上述单元进行修改，添加了记忆单元，这种结构称之为Gated Recurrent Unit(GRU)
c ~ < t > = tanh ( W c [ c < t − 1 > , x < t > ] + b c ) Γ u = σ ( W u [ c < t − 1 > , x < t > ] + b u ) c < t > = Γ u ∗ c ~ < t > + ( 1 − Γ u ) ∗ c < t − 1 > \begin{array}{c} \tilde{c}^{<t>}=\tanh \left(W_{c}\left[c^{<t-1>}, x^{<t>}\right]+b_{c}\right) \\ \Gamma_{u}=\sigma\left(W_{u}\left[c^{<t-1>}, x^{<t>}\right]+b_{u}\right) \\ c^{<t>}=\Gamma_{u} * \tilde{c}^{<t>}+\left(1-\Gamma_{u}\right) * c^{<t-1>} \end{array} c~<t>=tanh(Wc[c<t−1>,x<t>]+bc)Γu=σ(Wu[c<t−1>,x<t>]+b
最低0.47元/天 解锁文章
942
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
