深度学习RNN笔记整理

最新推荐文章于 2024-01-01 13:49:33 发布
最新推荐文章于 2024-01-01 13:49:33 发布
阅读量398 收藏 4
点赞数
分类专栏： NLP 文章标签： 深度学习 RNN NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42261413/article/details/102815400
版权

RNN

RNN概述

1、基础的RNN网络结构。
2、反向传播。
3、word2Vec理论 以及 代码。
4、双向RNN.
5、LSTM

为什么又BP神经网络、CNN,还需要RNN

BP神经网络和CNN的输入输出都是相互独立的,在实际应用中有些场景之间的内容是有关联的,例如文本之间的前后关联
RNN引入’记忆’的概念,递归指其每一个元素都执行相同的任务,但是输出依赖于输入和记忆

何为递归神经网络

RNN是一种对序列数据建模的神经网络,目的就是处理序列数据
RNN的本质(循环)
先初始化记忆单元S0
两个权重Ws和Wx,一个是针对状态的,一个是针对输入的
*S0 * Ws + X0 * Wx 之后跟激活函数更新S1
*S1是相当于带着’X0’的信息传递到下一时刻
图中只展示了相邻的神经元之间的联系.实际上任意两个神经元都是相互影响的
Vanilla↓,带有时间步的概念
RNN结构图1
RNN的正向传播
RNN结构图2
RNN的反向传播
基本原理和BP算法是一样的
(1)前向计算每个神经元的输出值
(2)反向计算每个神经元的误差值
(3)计算每个权重的梯度值→梯度下降法更新权重
RNN反向传播
RNN更容易梯度爆炸和梯度消散
每次循环都要用到Ws、Wx连乘所以更容易梯度消散or爆炸
Tanh本身也有一点软消散问题
在这里插入图片描述

双向RNN_BiRNN_解决梯度消散问题

假设党建图的输出不仅仅和之前的序列有关,而且还与之后的序列有关
双向RNN结构
双向RNN包含两个RNN,一个从左往右,一个从右往左
两个RNN的参数都是相互独立的
最后把两个RNN的输出进行拼接,作为整体的输出

双向RNN结构

LYK-AI
关注
专栏目录
深度学习整理笔记
09-30
本笔记主要针对深度学习的基础知识进行了详尽的整理，对于初学者来说是一份非常有价值的参考资料。 笔记首先会介绍深度学习的基本概念，包括神经网络的构成、反向传播算法以及损失函数等基础元素。神经网络是由多个...
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 1万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
【深度学习】RNN
Dong_ZH的博客
02-27 7339
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
深度学习中的循环神经网络（RNN）
xyk2795950571的博客
11-30 5164
本文介绍了深度学习中循环神经网络（RNN）的基本知识点，包括RNN的原理、应用场景以及使用Python和TensorFlow库实现简单RNN的代码示例。RNN作为一种具有记忆能力的神经网络模型，在序列数据处理中具有重要的应用价值。接下来我们将通过rnn模型来进行更多有趣的实战。
深度学习RNN
Swayzzu的博客
10-30 601
目录 1.RNN基础模型 2.LSTM 3.流程结构 1.RNN基础模型 RNN主要特点是，在DNN隐藏层的输出内容会被存储，并且可以作为输入给到下一个神经元。 如下图所示，当“台北”这个词被输入的时候，前面的词有可能是“离开“，有可能是”到达“，如果把上一次输入的”离开“，所得的隐藏层内容，输入给下一层，这样就有可能区分开是”离开台北“，还是”到达台北“。 如果隐藏层存储的内容并给下次使用，叫做Elman Network 如果最终的输出内容给下次使用，叫做Jordan Netw
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
deeplearning深度学习笔记
12-26
" Deeplearning深度学习笔记" 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助已有一定基础的计算机专业人士掌握深度学习技术。课程涵盖深度学习的基础知识，神经网络构建，卷积神经网络(CNN)、...
深度学习笔记
09-04
这份笔记正是基于他的课程整理而成，涵盖了深度学习的基础到高级概念。 1. **神经网络**：神经网络是深度学习的核心，由大量的人工神经元构成，每个神经元接收输入，通过权重计算后产生输出。这些网络通常包含输入...
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 1万+
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
ADwenwen的博客
08-07 6372
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
动手学深度学习（三十八）——从零开始实现循环神经网络RNN
Liu Feng's Blog
11-07 3271
文章目录1. 数据加载与转换1.1 加载Time machine这本书1.2 读取《星球大战》书籍数据集2. 初始化模型参数3. 循环神经网络模型4. 预测5. 梯度裁剪6. 训练小结练习 【说明】：这里加载了两本书的数据，都是李沐沐神书中提到的数据。由于沐神封装的代码都是加载的《Time machine》，所以我是将前面两篇Blog的代码又在这里复写了一遍，用来加载《星球大战》数据集。后面的内容是对沐神课程和代码的一个复现。其中的知识点我会用黄色标出。 %matplotlib inline import
深度学习之RNN循环神经网络（理论+图解+Python代码部分）
热门推荐
huacha__的博客
06-11 3万+
目录 前言 一、普通神经网络 二、循环神经网络 1.前向传播 2.反向传播算法BPTT 3.自然语言处理之RNN  4.梯度问题 4.1梯度爆炸 4.2梯度消失： 5.Keras建立RNN模型进行IMDb情感分析的Python代码 前言 前段时间实验室人手一本《Deep Learning》，本文章结合这本圣经和博客上各类知识以及我自己的理解和实践，针对RNN循环神经网络作出...
深度学习-RNN
A8186的博客
02-23 537
RNN（Recurrent Neural Network，循环神经网络）是一类能够处理序列数据的神经网络，它在处理时考虑了之前的状态，因此能够对序列数据中的每个元素进行建模和预测。RNN的应用非常广泛，特别是在自然语言处理和时间序列分析方面。以下是RNN在各个领域的应用：自然语言处理（NLP）文本分类：将文本归类到不同的类别中，如情感分析、垃圾邮件过滤、新闻分类等。机器翻译：将一种语言的文本翻译成另一种语言的文本。语音识别：将人类语音转化为文本。
深度学习-循环神经网络（RNN）
weixin_40826634的博客
12-06 950
深度学习-循环神经网络（RNN）
(挺清楚)深度学习之RNN(循环神经网络)
qq_43703185的博客
09-07 951
原文链接：https://blog.csdn.net/qq_32241189/article/details/80461635 一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?
【深度学习：Recurrent Neural Networks】循环神经网络（RNN）的简要概述
最新发布
欢迎来到最优秀的博客
01-01 2810
用于对顺序数据进行建模的深度学习方法是循环神经网络 （RNN）。在注意力模型出现之前，RNN是处理顺序数据的标准建议。深度前馈模型可能需要序列中每个元素的特定参数。它也可能无法泛化为可变长度序列。递归神经网络对序列的每个元素使用相同的权重，从而减少了参数的数量，并允许模型泛化为不同长度的序列。由于其设计，RNN 泛化到序列数据以外的结构化数据，例如地理或图形数据。与许多其他深度学习技术一样，循环神经网络相对较旧。它们最初是在 20 世纪 80 年代开发的，但直到最近我们才充分认识到它们的潜力。
深度学习之RNN
weixin_42581560的博客
12-28 694
在时间t的时候，对于单个神经元来讲它的输出y(t)如下wx是对于输入x的权重，wy是对于上一时刻输出的权重所以循环神经网络有两个权重。如果有很多这样的神经元并排在一起则在t时刻的输出y为这时输入输出都是向量。
吴恩达深度学习课程笔记与解析
笔记涵盖了深度学习的基础知识，包括神经网络的构建、卷积神经网络(CNN)、递归神经网络(RNN)和长短期记忆(LSTM)等，并提供了多个实际项目来应用这些技术。课程使用Python语言，基于TensorFlow框架，由吴恩达本人亲自...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值