循环神经网络RNN原理梳理

最新推荐文章于 2023-07-31 17:26:45 发布
最新推荐文章于 2023-07-31 17:26:45 发布
阅读量1.6k 收藏 6
点赞数 11
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33873431/article/details/101361990
版权

 RNN结构

上图为Tx​=Ty，T为序列长度，x^{<t>}表示输入x的第t个时间步，
Tx​=Ty的体系结构可以是提取句子中人名，例如句子“小明去学校”，句子中每个词先调整为one-hot编码，然后y^{<t>}为标签，0代表不是人名，1代表是。或者通过已有一堆英文人名，构建字符级语言模型来生成新的名称。

前向传播

上图为计算公式，其中W_{ax}代表权重，前面a代表计算的是激活值a^{<t>}，x代表权重后面跟的是x^{<t>}

首先先通过RNN的前向传播，如果输入的数据序列经过10个时间步，那么将复制RNN单元10次，每个单元将前一个单元中的隐藏状态a^{<t-1>}和当前时间步的输入数据x^{<t>}作为输入。 它为此时间步输出隐藏状态a^{<t>}和预测y^{<t>}。

RNN反向传播

循环神经网络可以看作是单元的重复，首先要实现单个时间步的计算

就像在完全连接的神经网络中一样，成本函数J的导数通过链式法则计算，通过RNN向后传播。

链式法则通过计算来更新Wax，Waa，ba

更新参数

更新Wax、Waa、Wya、ba、by

模型结构总结

模型的结构如下：

  • 初始化参数

  • 循环：

    • 前向传播计算损失

    • 反向传播计算关于损失的梯度

    • 修剪梯度以免梯度爆炸

    • 用梯度下降更新规则更新参数。

  • 返回学习后了的参数

lovelife110
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
循环神经网络RNN原理
iamcfb_的博客
02-11 889
       循环神经网络RNN主要用于语音识别，机器翻译，图像描述等。语音和文字不能单独拿出来处理，必须连起来处理，所以RNN适用。 1、传统的神经网络，x1和x2和x3和x4之间是没有联系的。   2、循环神经网络RNN，多了一个回路，每项之间都有联系   经过改进变成LSTM（Long Short Term Memory）   这是RNN循环神经网络中隐藏层...
循环神经网络（RNN）原理通俗解释
qq_44992215的博客
05-05 510
循环神经网络（RNN）原理通俗解释
【RNN】深入浅出讲解循环神经网络（介绍、原理）
程序星空实验室
05-31 5万+
1、RNN的背景 前馈神经网络不考虑数据之间的关联性，网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现，现实问题中存在着很多序列型的数据（文本、语音以及视频等），现实场景如室外的温度是随着气候的变化而周期性的变化的，以及我们的语言也需要通过上下文的关系来确认所表达的含义。 这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性，因...
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 1万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
2023-07-31循环神经网络（RNN）结构原理和参数详解
最新发布
LJ1120142576的博客
07-31 3070
RNN的理解
一篇文章玩转 RNN 网络 原理
qq_42902997的博客
03-19 2297
1. RNN的网络结构（展开） 图 1 RNN网络的基本运算单元 RNN 网络是由一个个的 cell 组成的，每一个 cell 都五脏俱全： 可以看出，沿着时间轴 t 每一个RNN的单元内都有一个输入 / 隐藏 / 输出层的神经网络。 RNN的每个细胞单元在时间轴的方向上，向下一时刻的RNN细胞单元共享权重，来实现处理沿时间维度的信息。 1.2 RNN的权值共享 【权值共享的必要性】 减少运算...
RNN循环神经网络
tt丫的博客
02-15 3383
​ 目录 一、RNN出现的意义 二、引入 —— 语言模型 三、RNN原理 四、RNN的应用以及不足 五、RNN代码实现 六、经典RNN变体 七、双向循环神经网络（BRNN） 一、RNN出现的意义 我们所熟悉的CNN，它的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响（即只能单独去处理一个又一个的输入） 但是, 对于一些与时间先后有关的, 一序列的信息（即前后输入是有关系的），比如进行文档前后文内容的预测等等, 这时候CNN的效果
「值得收藏的深度学习思维导图」全面梳理基本概念与11大模型关系.pdf
07-08
6. **RNN（循环神经网络）**：有记忆能力的网络，适用于处理序列数据，如自然语言处理。 7. **RNN（递归神经网络）**：与传统的RNN类似，但结构允许更复杂的时间依赖关系。 8. **策略**：包括参数初始化和优化，如...
「值得收藏的深度学习思维导图」全面梳理基本概念与11大模型关系.docx
07-08
在深度学习模型中，LSTM（长短时记忆网络）解决了传统RNN（循环神经网络）在处理长期依赖问题上的挑战。GAN（生成对抗网络）由生成器和判别器组成，通过对抗训练生成逼真的新数据。Auto-Encoder是一种无监督学习模型...
ANN.rar_ANN matlab
07-15
3. **网络架构**：研究不同的网络结构，如单层神经网络、多层前馈网络（MLP）、卷积神经网络（CNN）和循环神经网络（RNN）等。 4. **反向传播算法**：理解误差反向传播如何用于调整网络权重，以最小化损失函数并...
ufldl.zh.zip_UFLDL_斯坦福-Andrew_深度学习 视频_深度学习视频_视频深度学习
09-24
3. **深度神经网络**：深入讨论深度网络的结构、训练过程及优化策略，如卷积神经网络（CNN）和循环神经网络（RNN）。 4. **正则化与防止过拟合**：L1和L2正则化、dropout技术以及早停法，用于避免模型对训练数据过度...
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
RNN 浅析
晓野豬
09-17 3621
循环神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网路结构，用于处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于时间序列问题却无能无力 (如预测句子的下一个单词)。RNN 之所以称为循环神经网路，其本身包含循环的网络，允许信息在层内神经元之间传递，能够捕捉序列间的时序信息。
RNN 结构详解
源码森林
05-22 2726
转自RNN 结构详解 | 机器之心 （分享自 @机器之心Synced） https://www.jiqizhixin.com/articles/2018-12-14-4 RNN 结构详解 NLP里最常用、最传统的深度学习模型就是循环神经网络 RNN（Recurrent Neural Network）。这个模型的命名已经说明了数据处理方法，是按顺序按步骤读取的。与人类理解文字的道理...
RNN（Recurrent Neural Network）是怎么来的？
Taizhuang_的博客
12-17 1472
RNN（Recurrent Neural Network）是怎么来的？
RNN原理图
小沙粒看未来
02-26 837
这是我看过的最好的RNN原理图，理解这个就可以了。
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
RNN介绍，较易懂
xiaocao9903的专栏
11-20 3万+
Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。 传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lovelife110

你的鼓励是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值