通俗易懂实例讲解RNN神经网络及介绍LSTM神经网络

已于 2022-05-16 14:35:27 修改
阅读量1.4k 收藏 7
点赞数 3
分类专栏： 深度学习 文章标签： rnn 神经网络 深度学习
于 2022-05-09 17:09:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48078689/article/details/124668005
版权

1.图例讲解RNN

1.1 RNN具有短期记忆功能

在这里插入图片描述
首先对右图进行讲解，RNN每一时刻的隐藏状态不仅由该时刻的输入决定，还取决于上一时刻的隐藏状态的值，如右图中间模型当t时刻输入后，St取决于Xt和S(t-1)
所以左图中当输入x后，会不断重复w过程，每次的s的值都是由本次的x和上次的s综合决定的，最后输出o

1.2 梯度爆炸和梯度消失

当我们给计算机输入一段话:“我下个月想去重庆旅游，首先我需要做一份攻略合理规划时间和金钱，然后我需要…”,计算机会不断识别它认为重要的信息:下个月、重庆、旅游…，上面说到了RNN具有短期记忆功能，也就是说当我们使用rnn去对这段话进行判断我要去什么地方旅游，因为真正有效的信息在比较前面，rnn最终能记忆到的有效信息可能少之又少，于是它判断我要去上海旅游，如下图最开始计算机读入11时，rnn可以全部记住，可是随着12、13…越来越多数据的读入,rnn能记得数据的比例越来越小
在这里插入图片描述
那么当它判断我要去上海旅游，这显然与我真正想说的目的地不同，所以我就要开始去寻找真正有效的信息，于是我开始往回看，在反向传播过程中每一时刻倒退回上一时刻需要乘以一个参数，那么如果这个参数大于1，在最后的误差会不断乘以一个大于1的参数然后越往前越大，最终这个误差会变得巨大(指数增长速度非常快)，我们将其称之为梯度爆炸(如下图左)；反之，若这个参数小于1，那么在经过无数次的相乘后，在最后的误差到了前面会无限趋近于0，我们将其称之为梯度消失(如下图右)。
在这里插入图片描述
具体可参考这篇文章https://zhuanlan.zhihu.com/p/28687529

2.实例讲解RNN

2.1 了

最低0.47元/天 解锁文章
gcj_future
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
RNN：循环神经的网络结构、特点及应用实例
qq_42600675的博客
12-26 8128
RNN：循环神经的网络结构及其特点前言一、RNN？二、使用步骤1.引入库2.读入数据总结 前言 循环神经网络(Recurrent Neural Network, RNN)是用来建模序列化数据的一种主流深度学习模型。RNN将神经元串行起来，每个神经元能用它的内部变量保存之间输入的序列信息来把整个序列浓缩成抽象表示，并据此进行分类或生成新的序列，解决了传统前馈神经网络无法处理变长序列和难以捕捉序列中长距离的依赖关系的问题，基于此特点RNN在机器翻译、序列标注、图像标注、推荐系统、智能聊天机器人和自动作词作曲.
长短期神经网络lstm ，rnn神经网络
02-20
在深度学习领域，循环神经网络（Recurrent Neural Networks, RNN）和长短期记忆网络（Long Short-Term Memory, LSTM）是两种广泛使用的序列建模技术。这些模型尤其适用于处理具有时间依赖性的序列数据，如自然语言...
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 1万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
RNN经典案例（人名分类器）
热门推荐
sikh_0529的博客
09-10 1万+
获取常用字符数量。
循环神经网络（RNN）入门指南及代码示例
最新发布
m0_54141558的博客
06-16 952
循环神经网络（Recurrent Neural Network，RNN）是一种擅长处理序列数据的神经网络结构。与传统的前馈神经网络不同，RNN拥有循环连接，可以保留以前的信息，从而在处理时间序列数据、自然语言处理等任务中表现出色。在这篇文章中，我们将详细介绍RNN的基本概念及其变体LSTM和GRU，并通过代码示例展示如何在实践中使用这些模型。
循环神经网络RNN详解与实例pytorch
你这个代码我看不懂的博客
04-06 4869
一、数据介绍 本次实验采用的数据集是SNLI数据集，是 500,000 标记为英语的句子对。包括蕴含、矛盾，中立三种。 蕴含: 可以通过前提推断出假设。 矛盾: 可以推断出与假设相反。 中立: 所有其他情况。 下载数据集： import collections from d2l import mxnet as d2l from mxnet import gluon, np, npx npx.set_np() d2l.DATA_HUB['SNLI'] = ('https://nlp.stanford.edu
【经典网络解析（十）】 循环神经网络 1 | RNN结构解析，代码实现
专注于人工智能的算法与应用
01-16 1368
batch_first输入数据的形式，默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。对于RNN，可以分为单向RNN，和双向RNN，其中单向的是只利用前面的信息，而双向的RNN既可以利用前面的信息，也可以利用后面的信息。第一个苹果和第二个苹果的概念是不一样的，第一个苹果是红彤彤的苹果，第二个苹果是苹果公司的意思。同时只有记忆能力是不够的，处理后的信息得储存起来，形成“新的记忆”
RNN-LSTM卷积神经网络Matlab实现.zip
09-07
在本项目中，我们主要探讨的是如何在Matlab环境下实现循环神经网络（RNN）以及其特殊变体长短期记忆网络（LSTM）用于数据拟合。这些神经网络模型广泛应用于序列数据处理，如自然语言处理、语音识别、时间序列预测等...
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM
09-11
41Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习...所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。
神经网络的票房预测CNN-RNN-LSTM
03-26
神经网络模型 基于神经网络的票房预测模型的分析和实现 代码介绍博客：https://blog.csdn.net/qq_30803353/article/details/130957144 需求（pytorch框架）： 1、用不少于3种神经网络构建电影票房预测模型，并在同一...
RNN-LSTM卷积神经网络Matlab实现（源码）.rar
03-14
本篇文章将详细介绍RNN-LSTM卷积神经网络在Matlab中的实现原理及源码解析。 首先，让我们来理解RNN的基本概念。RNN是一种具有循环结构的神经网络，其内部的神经元会存储前一时刻的信息，以便在处理序列数据时能考虑...
基于RNN深度学习自动写诗的程序
07-03
用RNN做了一个自动写诗的程序，包含已经训练好的model，可以直接运行，训练数据也包含在里面
基于Numpy构建RNN模块并进行实例应用（附代码）
m0_49963403的博客
01-15 1748
本文详细说明RNN的原理及架构，不依赖任何集成好的深度学习库，仅基于Numpy构建RNN模型，并通过实例学习并理解RNN。
深度学习算法原理——循环神经网络RNN
null的专栏
09-17 3280
1. 概述 循环神经网络（Recurrent Neural Networks, RNN）主要用于时序数据，最常见的时序数据如文章，视频等，ttt时刻的数据与t−1t-1t−1时刻的数据存在内在的联系。RNN模型能够对这样的时序数据建模。 2. 算法原理 RNN模型的基本结构如下所示（图片来自参考文献）： 如上图所示，循环神经网络通过使用自带反馈的神经元，能够处理任意长度的时序数据，对此结构按照时间展开的形式如下所示（图片来自参考文献）： 2.1. RNN的结构 上图中给出了RNN的内部结构，RNN根据
两个rnn实例，可直接运行
weixin_41529093的博客
03-30 818
仅作为记录，大佬请跳过。 文章目录参考实例一代码实例二代码 参考 感谢大佬博主文章 实例1传送门 实例2传送门 实例一代码 简介：输入了这个正弦曲线，输出一个移位的正弦曲线 代码： import torch from torch import nn import numpy as np import matplotlib.pyplot as plt plt.figure(figsize=(8, 5)) # how many time steps/data pts are in one batch of
【深度学习篇】——CNN和RNN结合与对比，实例讲解
tesrasupernet的博客
12-19 2112
一、前述 CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。 二、CNN与RNN对比 1.CNN卷积神经网络与RNN递归神经网络直观图： 2.相同点： 2.1. 传统神经网络的扩展； 2.2. 前向计算产生结果，反向计算模型更新； 2.3. 每层神经网络横向可以多个神经元共存，纵向可以有多层神经网络连接。 3.不同点： 3.1....
用通俗易懂例子“干掉”RNN与LSTM
nobles007820的博客
05-04 650
用简单例子阐述更易理解枯燥无味的定义，本文由浅入深解析两者的工作机理，为设计程序奠定基础，主要分两部分内容： (i)举例理解循环神经网络(RNN [1], Recurrent Neural Networks) (ii)举例理解长短期记忆网络（LSTM [2] ，Long Short-Term Memory）
深度学习 《RNN模型》
qq_29367075的博客
10-07 2456
前言： 前几篇博文里面我们学习了传统的BP神经网络，你可以称为她是全连接的网络，也可以称之为DNN（denisty nextwork），也学习了卷积神经网络，在卷积神经网络里面还学习了池化等结构，并且在pytorch 上都拿MNIST数据集做了测试，总体感觉提取了特征后的CNN确实要比普通的神经网络效果要好一些。今天我们学习另外一种网络结构RNN，它具有什么特征结构呢？我们来一起学习下，只能说网络种类太多了。 一：RNN的介绍 之前我们学习的BP，CNN都具有一个共同的特点就是，每时每刻的输出都是且仅仅与当
rnn的一个例子
emmaczw的博客
11-22 2364
直接po代码，简单的rnn加法器，改自github，不用TensorFlow等框架，可实现多位（超过8位）加法。 import copy, numpy as np np.random.seed(0) def sigmoid(x): output = 1 / (1 + np.exp(-x)) return output def sigmoid_output_to_de
递归神经网络RNN与LSTM在语言处理中的应用
"第七讲_递归神经网络.pdf"是一份关于递归神经网络（RNN）、长短期记忆网络（LSTM）以及Word2Vec在语言处理中的应用的教育材料。该资源由李伟博士主讲，他专注于深度学习、计算机视觉和人脸计算领域的研究。 在递归...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gcj_future

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值