《深度学习》循环神经网络RNN 结构及原理解析

最新推荐文章于 2024-10-09 21:39:17 发布

菜就多练_0828

最新推荐文章于 2024-10-09 21:39:17 发布

阅读量736

点赞数 26

分类专栏：《深度学习》人工智能篇文章标签：深度学习 rnn 人工智能循环神经网络

本文链接：https://blog.csdn.net/qq_64603703/article/details/142778295

版权

《深度学习》人工智能篇专栏收录该内容

34 篇文章 9 订阅

订阅专栏

一、关于RNN

1、传统神经网络存在的问题

无法训练出具有顺序的数据，模型搭建时没有考虑数据上下之间的关系。

2、什么是循环神经网络

RNN（Recurrent Neural Network，循环神经网络）是一种用于处理序列数据的神经网络架构。其在处理序列输入时具有记忆性，可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

与传统的前馈神经网络不同，RNN能够在处理序列数据时捕捉序列中的时间依赖关系，即当前时刻的输出不仅依赖于当前时刻的输入，还依赖于过去时刻的输入（或称为状态）。

如下图所示，例如有一句话，“我要去打球”，将其分词成“我”、“要”、“去”、“打球”，第一个词的词向量表示x1，第二个单词的词向量表示为x2，依次表示所有x，然后首先第一个词向量x1传入h1，然后偏置项h0也同步传入，得到一个结果再传入h2，h2再得到传入的x2传入h3.....，继续像上述流程一样，以此保存了所有的信息并得到最终结果。

3、RNN特点

引入了隐状态h（hidden state）的概念，隐状态h可以对序列形的数据（如文本、语音、股票、时间序列等数据，当前数据内容与前面的数据有关。）提取特征，接着再转换为输出。

二、RNN基本结构

1、RNN基本结构

RNN的核心是一个循环连接的隐藏层，这个隐藏层在序列的每个时间步都会接收输入并产生输出。每个时间步的隐藏状态不仅取决于当前时间步的输入，还取决于前一个时间步的隐藏状态。这样，RNN能够保持对之前输入的记忆，并在处理后续输入时利用这些记忆。

2、推导方式

如下图所示，隐状态h相当于一个函数，f为一个激活函数，其有中的参数U、W、b在每一步都是一样的，也就是说每个步骤的参数都是共享的。

h0乘以一个参数矩阵W加上x1乘以一个参数矩阵U，再加一个偏置b，得到一个结果，将这个结果传入激活函数f，激活函数一般是Relu函数或者Tanh函数，进行特征提取，然后得到的结果再乘以参数矩阵W加上x2乘以参数矩阵U，加上偏置b传入激活函数进行特征提取得到结果，以此类推得到最终结果，此处不一定只达到x4，一段话中可以有很多很多的词，每个词都有其对应的词向量，这些词向量都可以传入这个结构进行训练。