1、RNN
单层RNN图形表示:
单层RNN数学形式:
多层RNN图形表示:
2、LSTM
长短记忆,门操作。
标准RNN:
LSTM:
增加记忆向量C。
第一个门:控制以前的记忆保留多少。
第二个门:控制新的输入取多少,新的输入的重要程度。
输出新的记忆向量Ct。
第三个门:控制Ct有多少进入ht输入下一个神经元。
1、RNN
单层RNN图形表示:
单层RNN数学形式:
多层RNN图形表示:
2、LSTM
长短记忆,门操作。
标准RNN:
LSTM:
增加记忆向量C。
第一个门:控制以前的记忆保留多少。
第二个门:控制新的输入取多少,新的输入的重要程度。
输出新的记忆向量Ct。
第三个门:控制Ct有多少进入ht输入下一个神经元。