1.原理示意
相比RNN只有一个传递状态 ,LSTM有两个传输状态,一个 cell state,和一个 hidden state。(Tips:RNN中的 h对于LSTM中的c )首先使用LSTM的当前输入 和上一个状态传递下来的
拼接训练得到四个状态。
LSTM内部主要有三个阶段:
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的,记住重要的”。
具体来说是通过计算得到的 (f表示forget)来作为忘记门控,来控制上一个状态的
哪些需要留哪些需要忘。
2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 进行选择记忆。哪些重要则着重记录下来,哪些不重要,则少记一些。当前的输入内容由前面计算得到的 z表示。而选择的门控信号则是由