循环神经网络 RNN

东方瑞通终身学习

于 2021-03-24 10:48:13 发布

阅读量456

点赞数

分类专栏：技术解读文章标签：数据库

本文链接：https://blog.csdn.net/weixin_45023479/article/details/115165729

版权

循环神经网络（RNN）是一种适用于序列数据的深度学习算法，通过记住之前的状态来处理序列间关联。常见应用包括语音识别、机器翻译、音乐生成、文本生成和情感分类等。RNN结构包含输入、隐藏和输出层，通过状态S(t)传递信息，解决传统神经网络无法捕捉序列依赖的问题。

摘要由CSDN通过智能技术生成

循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。
对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为重要的深度学习算法，其中双向循环神经网络和长短期记忆网络是常见的的循环神经网络

RNN结构

一个标准的(简单的)RNN单元包含三层: 输入层,隐藏层和输出层,用图示有两种方式:折叠式与展开式
在这里插入图片描述
序列数据

现在有一组序列数据 data 0,1,2,3. 在当预测 result0 的时候,我们基于的是 data0, 同样在预测其他数据的时候, 我们也都只单单基于单个的数据. 每次使用的神经网络都是同一个 NN. 不过这些数据是有关联顺序的 , 就像在厨房做菜, 酱料 A要比酱料 B 早放, 不然就串味了. 所以普通的神经网络结构并不能让 NN 了解这些数据之间的关联.

处理序列数据的神经网络
在这里插入图片描述
那我们如何让数据间的关联也被 NN 加以分析呢? 想想我们人类是怎么分析各种事物的关联吧, 最基本的方式,就是记住之前发生的事情. 那我们让神经网络也具备这种记住之前发生的事的能力. 再分析 Data0 的时候, 我们把分析结果存入记忆. 然后当分析 data1的时候,