LSTM和GRU区别与联系

LSTM和GRU都是特殊的RNN架构，都是为了解决梯度消失问题而生。GRU可以认为是简化版本的LSTM。

二者的核心概念：

当前记忆 = 过去记忆 + 记忆增量。

1、LSTM网络

LSTM具有三个门结构，输入门，输出门和遗忘门。
记忆增量是当前输入和过去输出的加权和。
遗忘门控制过去记忆的量，输入门控制记忆增量的量。
输出门控制当前记忆对当前输出的影响。
遗忘门：
$f=\sigma (U_1{x}_t+W_1{h}_{t-1})$
输入门：
$i=\sigma (U_2{x}_t+W_2{h}_{t-1})$

当前记忆：
$c_t=f\odot c_{t-1}+i\odot tanh(U_3{x}_t+W_3{h}_{t-1})$
输出门：
$o=\sigma (U_3{x}_t+W_3{h}_{t-1})$
当前输出：
$h_t=o\odot tanh(c_t)$

2、GRU网络

GRU具体两个门结构：重置门 和更新门。
记忆增量(或者说候选状态)由当前输入信息和过去记忆（或者说过去状态）累加形成，而重置门控制着过去记忆在当前记忆增量中的重要性。
而更新门控制过去记忆与当前记忆增量的比例。
重置门：
$r_t=\sigma (U_1{x}_t+W_1{h}_{t-1})$
更新门：
$z_t=\sigma (U_2{x}_t+W_2{h}_{t-1})$
记忆增量：
$\tilde{h}=tanh(U_3{x}_t+W_3(h_{t-1}\odot r_t))$
当前记忆：
$h_t=(1-z_t)\odot h_{t-1}+z_t\odot \tilde{h}$

可以看出GRU和LSTM非常类似，实际上性能也类似。只是GRU参数比LSTM少，训练速度更快。