纯公式版RNN前向过程

普通Recurrent Neural Network (RNN)

输入： $x_t$

循环层： $h_t=f\left(W_{xh}{x}_t+W_{hh}{h}_{t-1}+b_h\right)$

输出： $y_t=g\left(W_{\mathrm{o}}{h}_t+b_{\mathrm{o}}\right)$

Long Short-Term Memory (LSTM)

三个门控信号：
$i_t=\sigma (W_{xi}{x}_t+W_{hi}{h}_{t-1}+b_i)$
$f_t=\sigma (W_{xf}{x}_t+W_{hf}{h}_{t-1}+b_f)$
$o_t=\sigma (W_{xo}{x}_t+W_{ho}{h}_{t-1}+b_o)$

cell状态：
$c_t=f_t\odot c_{t-1}+i_t\odot tanh(W_{xc}{x}_t+W_{hc}{h}_{t-1}+b_c)$

h层状态：
$h_t=o_t\odot tanh(c_t)$

Gate Recurrent Unit (GRU)

两个门控信号：
$r_t=\sigma (W_{xr}{x}_t+W_{hr}{h}_{t-1}+b_r)$
$z_t=\sigma (W_{xz}{x}_t+W_{hz}{h}_{t-1}+b_z)$

中间状态$n_t$：
$n_t=tanh(W_{xn}{x}_t+b_{xn}+r_t\odot (W_{hn}{h}_{t-1}+b_{hn}))$

h层状态：
$h_t=(1-z_t)\odot n_t+z_t\odot h_{t-1}$

相对于LSTM，GRU少了一个门，因此网络参数相对较少，但性能却和LSTM接近。