RNN各门笔记

1. RNN

RNN的目的是让有sequential关系的信息得到考虑。
什么是sequential关系?就是信息在时间上的前后关系。
相比于普通神经网络∶

2. LSTM

LSTM中最重要的就是这个Cell State，它一路向下，贯穿这个时间线，代表了记忆的纽带。它会被XOR和AND运算符搞一搞，来更新记忆而控制信息的增加和减少的，就是靠这些阀门∶Gate
阀门嘛，就是输出一个1于0之间的值∶1代表，把这一趟的信息都记着0代表，这一趟的信息可以忘记了

下面我们来模拟一遍信息在LSTM里跑跑~

2.1 第一步∶忘记门

来决定我们该忘记什么信息
它把上一次的状态ht-1和这一次的输入xt相比较通过gate输出一个0到1的值（就像是个activation function一样），1代表∶给我记着!0代表∶快快忘记!

2.2 第二步∶记忆门

哪些该记住
这个门比较复杂，分两步∶第一步，用sigmoid决定什么信息需要被我们更新（忘记的）第二部，用Tanh造一个新的Cell State（更新后的cell state）

2.3 第三步∶更新门

把老cell state更新为新cell state
用XOR和AND这样的门来更新我们的cell state

2.4 第四步∶输出门

由记忆来决定输出什么值
我们的Cell State已经被更新，于是我们通过这个记忆纽带，来决定我们的输出∶（这里的ot类似于我们刚刚RNN里直接一步跑出来的output）