RNN架构

最新推荐文章于 2024-08-06 07:30:00 发布
最新推荐文章于 2024-08-06 07:30:00 发布
阅读量2.2k 收藏 2
点赞数 1
文章标签： rnn 架构 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/121796352
版权

文章目录

RNN架构

RNN模型含义

RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.

RNN模型结构

一般的神经网络

img

RNN单层个网络结构

avatar

RNN以时间步展开单层网络结构

avatar

从动态图中可以看出，RNN的输入有

  1. 当前的INPUT
  2. 上一步的隐藏层的输出结果

RNN模型作用

  • 可以有效处理连续性输入的序列，如人类语言
  • 适用于文本分类、情感分析、意图识别和机器翻译
举例

avatar

从该动图可以看出当分析到"?“时，其实网络得出的答案O5已经结合了这句话所有的单词，并不只是分析了”?"。

RNN模型的分类

  • 角度

  1. 输入输出的结构进行分类

    输入规模输出规模模型
    NNRNN
    N1RNN
    1NRNN
    NMRNN

  2. 按照RNN的内部构造进行分类

    RNN模型
    传统RNN模型
    LSTM（长短期记忆模型）
    Bi-LSTM
    GRU
    Bi-GRN

N-N

特点
  • 输入输出序列等长
  • 使用范围小
使用场景
  • 生成等长的合辙诗句
示意图

img

N-1

特点
  • 输入N个数据，输出1个数据
  • 为了更好的明确结果, 还要使用sigmoid或者softmax进行处理.
使用场景
  • 用户问一个问题，其实想要一个答案，如今天多少度？34摄氏度。
  • 电影评论得分
示意图

img

1-N

特点
  • 输入1个数据，输出N个数据
使用场景
  • 图片生成文字任务
示意图

img

N-M

特点
  • 输入N个数据，输出M个数据
  • 由解码器和译码器组成，被称为Seq2Seq
  • 实际上是由N-1和1-N模型组成
使用场景
  • 机器阅读
  • 机器翻译
示意图

img

365JHWZGo
关注
专栏目录
【RNN架构解析】LSTM 模型
风口IT猪的成长录
10-07 1706
LSTM 模型前言1. LSTM 内部结构图2. Bi-LSTM 介绍3. LSTM 代码实现4. LSTM 优缺点 前言 了解LSTM内部结构及计算公式. 掌握Pytorch中LSTM工具的使用. 了解LSTM的优势与缺点. LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析: 遗忘门 输入门 细胞状态 输出门
【强烈推荐】RNN 架构解析（循环神经网络）
风口IT猪的成长录
10-06 1034
【NLP】RNN 架构解析1. 认识RNN模型1.1 什么是RNN模型1.2 RNN模型的作用1.3 RNN模型的分类1.4 总结2. 传统RNN模型2.1 传统RNN的内部结构图 1. 认识RNN模型 1.1 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结
RNN系列之二 RNN模型结构
qq_28437273的博客
03-21 3706
1.表示方式    RNN的表示有两种不同的绘图方式。一是计算图，如下图左，二是展开计算图，如下图右。图中，只包含了输入与隐藏状态，不包含输出。回路图中的黑色方块表示单个时间步的延迟。                                                                                         ---来源花书2.前向传播      ...
RNN 结构详解
源码森林
05-22 2750
转自RNN 结构详解 | 机器之心 （分享自 @机器之心Synced） https://www.jiqizhixin.com/articles/2018-12-14-4 RNN 结构详解 NLP里最常用、最传统的深度学习模型就是循环神经网络 RNN（Recurrent Neural Network）。这个模型的命名已经说明了数据处理方法，是按顺序按步骤读取的。与人类理解文字的道理...
循环神经网络RNN介绍
最新发布
逐梦苍穹的博客
08-06 1631
循环神经网络基本知识：结构、序列依赖、梯度消失/爆炸
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
RNN 图解版
算法channel
05-05 547
神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。后面不管是encode-decode 框架，还是注意力模型，以及自注意力模型，...
RNN网络架构
qq_25348431的博客
11-16 419
学习吴恩达老师的AI课程笔记，详细视频课程请移步https://mooc.study.163.com/smartSpec/detail/1001319001.htm 循环神经网络展开后类似于一个有N个中间层的前馈神经网络。 对于前馈网络的公式有：O=f( X * W+b ) ,W,b为参数,X是当前的输入，f(·)是激活函数，*是矩阵乘法，O是当前的输出。即输出 等于 输入经过线性与非线性映射...
常见RNN及其架构
qq_25248517的博客
12-20 3572
蛤！没啥摘要啊，这里是简单的一些RNN架构分享啊~~
RNN
qq_41133677的博客
02-14 315
浅谈对RNN网络的理解 1、RNN网络的结构及原理 这是RNN经典网络结构，一句话解释RNN就是一个单元的重复使用， RNN（Recurrent Nerual Network）都在说rnn是在有序数据上执行的解决信息序列问题的。这里的“序列”究竟是神马？？在识别一张图片时是怎么工作的？？个人理解就是，如果给定一张大小为16*20的图片,在将图片看成序列时，序列的长度为20，每一时刻的...
基于循环神经网络(RNN)的古诗生成器.pdf
04-17
循环神经网络（RNN）是一种人工神经网络，特别适合处理序列数据，如自然语言、时间序列等。在古诗生成器中，RNN被用来学习和理解古诗的语法规则、韵律和结构，然后生成新的诗句。RNN 的核心特征是其具有循环结构，...
【RNN架构解析】GRU 模型 & 注意力机制
风口IT猪的成长录
10-07 7678
【NLP】GRU 模型1. GRU 模型1.1 GRU的内部结构图和计算公式1.2 Pytorch中GRU工具的使用1.3 GRU的优缺点2. 注意力机制2.1 什么是注意力机制2.2 注意力机制的作用2.3 注意力机制实现步骤 1. GRU 模型 学习目标 了解GRU内部结构及计算公式. 掌握Pytorch中GRU工具的使用. 了解GRU的优势与缺点. GRU（Gated Recurrent Unit）也称门控循环单元结构, 它也是传统RNN的变体**, 同LSTM一样能够有效捕捉长序列之间的语义关联
【RNN】深入浅出讲解循环神经网络（介绍、原理）
热门推荐
程序星空实验室
05-31 5万+
1、RNN的背景 前馈神经网络不考虑数据之间的关联性，网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现，现实问题中存在着很多序列型的数据（文本、语音以及视频等），现实场景如室外的温度是随着气候的变化而周期性的变化的，以及我们的语言也需要通过上下文的关系来确认所表达的含义。 这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性，因...
【图解】RNN模型结构详解、教程
AIcar_lrm的博客
05-10 1764
如果目标是 输入今年1-12月份的房价，输出是预测的明年1月的房价，那此时循环神经网络经过隐含层后，可以接入一个全连接层，也可以将最后时刻隐含层的输出作为网络输出，分别如下图(a)(b)所示。然后，对于每个序列数据，RNN模型将其输入序列数据和当前的隐藏状态进行计算，并输出新的隐藏状态。在这个过程中，隐藏状态。并不会发生实际的改变，而是根据上一个序列的最终隐藏状态重新创建一个新的初始隐藏状态，用于处理下一个序列数据。中的参数是模型在最后一个时间步的隐藏状态值，可以在需要时用于下一个序列的预测或其他操作。
RNN架构解析
123
08-03 389
RNN 的作用： 因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛应用于NLP领域的各项任务, 如文本分类, 情感分析, 意图识别, 机器翻译等. RNN的分类 按照输入和输出： N vs N - RNN N vs 1 - RNN 1 vs N - RNN N vs M - RNN（它由编码器和解码器两部分组成, 两者的内部结构都是某类RNN, 它也被称为seq2seq架构） 按照内部构造进行分类: 传统RNN LSTM Bi.
RNN的详细结构图Pytorch
不知语冰
06-08 3722
RNN长这样，这个图比较抽象： Pytorch的RNN的调用： rnn_layer = nn.RNN(input_size=2, hidden_size=3, num_layers=2) input_size输入特征的维度，即下图中每一时刻Xt的输入长度，Xt=[x1,x2] ，长度为2 hidden_size隐藏层神经元个数，下图中hidden_size=3 num_layers网络的层数，下图为2层（上下之间，不是左右之间，左右之间是同一层） 输入： X = torch.rand(2, 1, 2)
6-RNN架构解析
HITzwx的博客
02-24 1468
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.一般单层神经网络结构:RNN单层网络结构:以时间步对RNN进行展开后的单层网络结构:RNN的循环机制使模型隐层上一时间步产生的结果, 能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.
RNN 其常见架构：一文带你了解RNN家族知识点（有这一篇足矣）
iFlyAI的博客
09-17 662
摘要:CNN 和 RNN是当下 Deep Learning 应用领域中主流的两大结构。前篇文章中我们介绍了 CNN，本篇开始我们聊聊 RNN。RNN 跟 CNN 历史相似之处在于，都是上个世纪提出来的概念。但是由于当时计算量和数据量都比较匮乏，它 ... 人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值