循环神经网络(Recurrent Neural Network,简称RNN)是一种通过隐藏层节点周期性的连接,来捕捉序列化数据中动态信息的神经网络,可以对序列化的数据进行分类。
标准RNN结构
多层双向循环神经网络
标准RNN结构的问题
1.解决了信息记忆的问题,但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信
息,如推理小说开头埋下的伏笔,可能到结尾时候才解答。
2.基本的循环神经网络存在梯度爆炸和梯度消失问题,并不能真正的处理好长距离的依赖。
在时间序列上展开即: