RNN
递归神经网络(RNN),该网络最大的特点就是利用了前一步的信息。如下图:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/fb2c700ea73711a78500f938737ad322.png)
RNN有一个比价特别的地方,那就是S,表示记忆单元。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5e87f9ef1e5748fc950b9007d35a6092.png)
其反向传播的过程需要将当前步的一直到最后的梯度都求出来。这个也是它的缺点,为什么呢?主要就是因为距离当前太远的地方,可能与当前关系不大,我们应该忽略他,同时这样也容易造成梯度消失。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/229a8b4ccf46339d5677449884e077db.png)
LSTM
针对RNN存在的问题,在LSTM上可以得到很好的解决。LSTM使用三个门,分别 是选择忘记的门,新的需要保留的门,以及需要输出的门。具体如下
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e3ce4acb74990ade73a6386619ec1166.png)
- 选择忘记的门 Ct-1是上一阶段的控制参数 ht-1是上阶段的输出。