LSTM 与 GRU

LSTM

全称：Long Short-Term Memory 长短期记忆网络

大致结构如图所示(不想用软件画图。。。)：

三个门已经在图中表示了出来。下面将逐步介绍。
图中最上面的C是最主要的传输流。

遗忘门：
$$f_t=\delta (W_f\cdot [h_{t-1},X_t])$$(这里b放入了$X_t$中)
输出值在[0,1]之间。和$C_{t-1}$相乘，代表保留$C_{t-1}$中多少信息。
1代表完全保留，0代表完全舍弃。

输入门：
<