长短期记忆网络LSTM
LSTM中所包含的三个门:
f
t
f_t
ft、
i
t
i_t
it、
o
t
o_t
ot,
f
t
f_t
ft:遗忘门,控制保留了多少旧记忆单元
C
t
−
1
C_{t-1}
Ct−1的内容。
i
t
i_t
it:输入门,控制采用多少来自
C
t
C_t
Ct的新数据。
C
t
=
C
t
−
1
⊙
f
t
+
g
t
⊙
i
t
C_t =C_{t-1}\odot f_t + g_t\odot i_t
Ct=Ct−1⊙ft+gt⊙it,通过该机制来控制输入和遗忘,也就是“存储单元”。
o
t
o_t
ot:输出门:控制t时刻状态所少用于输出。