大模型｜基础——长短时记忆网络

LSTM

遗忘门

遗忘门，是否进行遗忘。
如果通过计算，计算出来的结果为0，就选择遗弃。
如果遗忘，相当于对过去信息直接进行丢弃。
其中$\sigma ()$代表激活函数，会将输出归于0到1之间的值。

输入门

整合信息

如果$f_t=0$相当于屏蔽了$C_{t-1}$

$h_{t-1}$这个参数是来自上一层的，也就是对应地，也要给下一层通过计算提供出$h_t$。

特点

实现神经单元的内部计算

门控控制——可以动态选择信息

如果信息不重要，可以通过遗忘门进行遗忘

在大数据量的情况下，可有效缓解梯度

注意点

LSTM并不适合用利用并行化进行计算上的优化。

由于$h_i$的存在，他需要等待前面$h_{i-1}$和$x_i$得出后才能进一步计算。