RNN（循环神经网络）

最新推荐文章于 2024-10-07 08:40:24 发布

江海寄余生1011

最新推荐文章于 2024-10-07 08:40:24 发布

阅读量1k

点赞数 1

分类专栏：人工智能推荐系统文章标签：神经网络 python 机器学习深度学习人工智能

本文链接：https://blog.csdn.net/m0_56689123/article/details/118905234

版权

人工智能同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

推荐系统

10 篇文章 0 订阅

订阅专栏

循环神经网络（RNN）是一种处理序列数据的神经网络模型，其隐藏层状态不仅取决于当前输入，还与之前的状态有关。RNN的特点包括权值共享，每个输入仅与其对应的权重相连。反向传播通过时间（BPTT）在序列的每个时间步长更新参数。RNN的改进算法旨在解决长期依赖问题，如LSTM和GRU。

摘要由CSDN通过智能技术生成

Recurrent Neural Network

参考文献：
https://blog.csdn.net/qq_32241189/article/details/80461635?
https://zhuanlan.zhihu.com/p/30844905

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

在这里插入图片描述

上图是一幅全连接神经网络图，我们可以看到输入层-隐藏层-输出层，他们每一层之间是相互独立地，(框框里面代表同一层)，每一次输入生成一个节点，同一层中每个节点之间又相互独立的话，那么我们每一次的输入其实跟前面的输入是没有关系地。这样在某一些任务中便不能很好的处理序列信息。

什么是序列信息呢？

通俗理解就是一段连续的信息，前后信息之间是有关系地，必须将不同时刻的信息放在一起理解。

比如一句话，虽然可以拆分成多个词语，但是需要将这些词语连起来理解才能得到一句话的意思。

RNN就是用来处理这些序列信息的任务，比如NLP中的语句生成问题，一句话中的每个词并不是单独存在地，而是根据上下文信息，与他的前后词有关。

如：我吃XXX，吃是一个动词，按照语法规则，那么它后面接名词的概率就比较大，在预测XXX是什么的时候就要考虑前面的动词吃的信息，如果没考虑上下文信息而预测XXX是一个动词的话，动词+动词，很大概率是不符合语言逻辑地。

为了解决这一问题，循环神经网络 RNN也就应运而生了。

关于RNN作用能理解多少理解多少，我们继续往下面看，最后再来熟悉RNN。

RNN 结构

首先看一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：
在这里插入图片描述
我们发现把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；

U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵

那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

在这里插入图片描述
我们从上图就能够很清楚的看到，上一时刻的隐藏层是如何影响当前时刻的隐藏层的。

如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：
在这里插入图片描述
现在看上去就比较清楚了，这个网络在t时刻接收到输入 $x_t$ 之后，隐藏层的值是 $s_t$ ，输出值是 $o_t$ 。关键一点是， $s_t$ 的值不仅仅取决于 $x_t$ ，还取决于 $s_{t-1}$ 。我们可以用下面的公式来表示循环神经网络的计算方法：

用公式表示如下：
在这里插入图片描述
上面文字繁琐一些，不知道能不能了解RNN 的基本结构。

标准RNN的还有以下特点：
1、权值共享，图中的W全是相同的，U和V也一样。
2、每一个输入值 $x_t$ 都只与它本身的那条路线建立权连接，不会和别的神经元连接。

RNN的反向传播BPTT

将RNN展开之后，前向传播就是依次按照时间的顺序计算一次就好了，反向传播就是从最后一个时间将累积的损失传递回来即可，这与普通的神经网络训练本质上是相似的。

即通过梯度下降法一轮轮的迭代，得到合适的RNN模型参数 $U, W, V, b, c$ 。由于我们是基于时间反向传播，所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。当然这里的BPTT和普通神经网络也有很大的不同点，即这里所有的 $U, W, V, b, c$ 在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。