LSTM原理详解

一、结构

RNN:

前向传播公式：


因此，在RNN中，梯度小幅更新的网络层会停止学习，这些通常是较早的层。由于这些层不学习，RNN无法记住它在较长序列中学习到的内容，因此它的记忆是短期的。

二、LSTM

结构

是为了缓解RNN的梯度问题的。
在RNN结构中，新增了遗忘门、更新门、输出门。就是通过调节这些权重参数，使得每次CT的值都差不多，可以记住以前的信息。
引进了细胞单元。

缓解梯度问题

遗忘门是LSTM中控制信息流动的关键组件之一，其通过线性变换（点积）和非线性激活函数（Sigmoid）共同作用，实现对细胞状态中信息的选择性保留与遗忘。