LSTM是对simple RNN的改进,表现总是比simple RNN好,具有比simple RNN更长的记忆。
simple RNN只有一个参数矩阵,但是LSTM有四个参数矩阵
遗忘门有选择的让c中的元素通过,如果是0,c对应的元素就没办法通过,输出也是0,如果是1,则C对应的元素全部通过。
输入门
输出门
LSTM参数数量计算
LSTM是对simple RNN的改进,表现总是比simple RNN好,具有比simple RNN更长的记忆。
simple RNN只有一个参数矩阵,但是LSTM有四个参数矩阵
遗忘门有选择的让c中的元素通过,如果是0,c对应的元素就没办法通过,输出也是0,如果是1,则C对应的元素全部通过。
输入门
输出门
LSTM参数数量计算