RNN、LSTM

RNN：
缺点：我们的关键词‘红烧排骨’出现在最前面，那么等所有语句传递到最后时要等待很长的时间，经过很长的步骤。如果再从后传回参数，那么会导致梯度弥散或梯度爆炸，另一个问题是网络没有长效记忆的功能，最后是RNN的训练比较难。


LSTM：解决无法长效记忆的问题，有三个控制器：输入/输出/忘记


把上一个状态传递给下一个神经元

LSTM：会选择性地忘记一些不重要的信息，而把关键信息给保留，解决RNN无长效记忆的能力，而且更加好训练。


遗忘门：选择忘记不重要的信息
输入门：选入这次的输入Xt和上次的输出ht-1，它的两个函数用于筛选重要信息，Ct是Cell state
当前状态：对这次和上次的结果有个评估，到底是放多少这次的结果