循环神经网络（RNN）算法详解

极光喵

已于 2024-03-14 23:23:27 修改

阅读量4.5k

点赞数 43

文章标签： rnn 算法人工智能

于 2024-03-06 18:03:08 首次发布

本文链接：https://blog.csdn.net/qq_39297053/article/details/136426646

版权

注意：本文引用自专业人工智能社区Venus AI

引言

在之前的博文中，我们探讨了全连接神经网络（FCNN）和卷积神经网络（CNN）的结构，以及它们的训练方法和使用场景。值得注意的是，这两种网络结构都是处理独立的输入数据，即它们无法记忆或理解输入数据之间的序列关系——每个输入都被视为与其他输入无关的独立单元。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，而是需要处理这些词连接起来的整个序列；在处理视频的时候，也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。像文本、语言、视频这种信息被称为序列数据，解决序列数据相关的问题，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network，RNN)。

序列数据

序列数据是由一系列有序的元素组成，这些元素按照一定的顺序排列。序列数据的顺序通常包含重要的信息。在深度学习和自然语言处理中，常见的序列数据包括时间序列数据、文本数据、音频数据和视频数据等。

时间序列数据：按照时间顺序记录的数据，例如股票价格、气象数据等。

文本数据：由一系列字符、单词或句子组成，例如新闻文章、书籍等。

音频数据：由一系列音频信号样本组成的数据，例如语音、音乐等。

视频数据：由一系列图像帧组成的数据，例如电影、动画等。

上述的四种序列数据其实存在一个共性，即都存在时间概念。时间序列数据本身就有时间信息，文本数据和音频数据的产生也有时间顺序，视频数据的播放也存在时间概念。所以可以对序列数据某时刻的信息用以下数学公式进行定义：

如果在时间 $t$ 下观察到数据 $x_t$ , 那么预测 $t+1$ 时刻某数据出现的概率应该与 $t$ 时刻和之前时刻出现的所有信息有关, 即 $\left(x_1,\cdots,x_{t-2},x_{t-1},x_t\right)\sim p\left(x_{t+1}\right)$ 。我们希望能够对 $p(\cdot)$ 进行建模,这样就可以根据现有的数据, 来预测未来的数据。我们可以使用条件概率对其进行展开, 即: $p\left(x_{t+1}\right)=p\left(x_1\right)\cdot p\left(x_2\mid x_1\right)\cdot p\left(x_3\mid x_1,x_2\right)\cdot\ldots\cdot p\left(x_{t+1}\mid x_1,x_2,\cdots,x_t\right)$