1. RNN
RNN的目的是让有sequential关系的信息得到考虑。
什么是sequential关系?就是信息在时间上的前后关系。
相比于普通神经网络∶
2. LSTM
LSTM中最重要的就是这个Cell State,它一路向下,贯穿这个时间线,代表了记忆的纽带。它会被XOR和AND运算符搞一搞,来更新记忆而控制信息的增加和减少的,就是靠这些阀门∶Gate
阀门嘛,就是输出一个1于0之间的值∶1代表,把这一趟的信息都记着0代表,这一趟的信息可以忘记了
下面我们来模拟一遍信息在LSTM里跑跑~
2.1 第一步∶忘记门
来决定我们该忘记什么信息
它把上一次的状态ht-1和这一次的输入xt相比较通过gate输出一个0到1的值(就像是个activation function一样),1代表∶给我记着!0代表∶快快忘记!
2.2 第二步∶记忆门
哪些该记住
这个门比较复杂,分两步∶第一步,用sigmoid决定什么信息需要被我们更新(忘记的)第二部,用Tanh造一个新的Cell State(更新后的cell state)
2.3 第三步∶更新门
把老cell state更新为新cell state
用XOR和AND这样的门来更新我们的cell state
2.4 第四步∶输出门
由记忆来决定输出什么值
我们的Cell State已经被更新,于是我们通过这个记忆纽带,来决定我们的输出∶(这里的ot类似于我们刚刚RNN里直接一步跑出来的output)