2022最新版-李宏毅机器学习深度学习课程-P29 RNN-2

已于 2023-10-27 20:09:09 修改
阅读量766 收藏 1
点赞数
分类专栏： 李宏毅机器学习深度学习 文章标签： 机器学习 深度学习 人工智能
于 2023-10-19 21:52:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45626133/article/details/133934781
版权

 一、RNN网络结构

与时间有关的反向传播（每次不同） 

损失函数

实验其实不容易跑，因为他的损失函数曲线幅度很大

画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了，所以弹回去了。

原作者在训练时加上了小技巧——clipping：设置一个峰值，若超过则等于该峰值。

梯度大的原因：

  • 当W>1时，微小的变化会引起很大的变化；
  • 当w<1时，较大的变化带来的变化也很小。

RNN一些有用的变形

LSTM以及简化为双门的GRU

Clockwise RNN && SCRN

多对一

多长对多短

这里是最后删去重复的字符

改加上null符号后，可以实现一些叠词

CTC方法

多对多（无限制）

加上一个断的符号，可以及时终止

可以用在机器学习上

语法分析

自动编码器

可以提高传输效率和节约成本

可用于文本、音频

可以通过音频做一些相似性搜索

训练过程

向量可视化

实例：Chat-bot

基于注意力的模型

增加了能够存储的能力

拥有阅读理解能力/问答能力 

视觉问答

语音问答

模型架构

RNN vs Structured Learning

结合使用

与GAN做对比 

以后会开一门新课，专门讲结构化学习

QwQllly
关注
专栏目录
最新RNN相关模型
sereasuesue的博客
10-22 1309
最近在看最新RNN相关模型 找到很多论文 Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network 递归神经网络（RNN）和长短期记忆（LSTM）网络的基础 要点• 递归神经网络（RNN）的定义来自延迟微分方程。 •RNN展开技术在形式上被证明是近似无限序列。 •可以从RNN逻辑上合理化长短期内存网络（LSTM）。 •提供了完全推导LSTM训练方程式的系统图...
SRNN——RNN的新革命
一蓑烟雨任平生
09-13 1570
新智元的这篇文章《比RNN快136倍！上交大提出SRNN，能做并行计算》已经对SRNN做了足够的介绍，简单说就是以下4步： 把整个序列分成n个子序列 并行的在每一个子序列上运行RNN（LSTM，GRU或者任何其他RNN单元都可以） 把每个子序列的输出作为新的序列，重复步骤1，2 上述过程可以重复k次，形成k层RNN序列，每层的RNN参数可以不同 因此，该结构可以实现高度的并行，整个序列中的...
前沿高端技术之递归神经网络（RNN）
renhongxia1的博客
07-20 219
RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKeykeyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。状态向量在处理评论中的下一个单词时传递给模型，并生成新的状态向量。除了上述代码中的单词RNN之外，其他一切听起来与在前面章节中使用的非常类似，因为PyTorch隐藏了很多反向传播的复杂度。到现在为止，我们只是了解了RNN的功能，但并不知道它是如何工作的。​图6.5说明了RNN的工作原理。...
神经网络流程图用什么画,人工神经网络结构流程
神经网络爱好者
10-07 695
BP网络是在前馈神经网络的基础上发展起来的，始终有一个输入层（它包含的节点对应于每个输入变量）和一个输出层（它包含的节点对应于每个输出值），以及至少有一个具有任意节点数的隐含层（又称中间层）。输入参数好比神经元接收信号，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。在学习的过程中，它根据正确结果不停地校正自己的网络结构，最后达到一个满意的精度。
2023-07-31循环神经网络（RNN）结构原理和参数详解
LJ1120142576的博客
07-31 3125
RNN的理解
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅-机器学习-RNN-笔记
qq_41789315的博客
10-03 996
李宏毅-机器学习课程-笔记
台大-李宏毅-B站机器学习视频-课件
01-08
【机器学习】 在机器学习领域，无监督学习是一种重要的学习方法...这些资料详细阐述了如何使用Auto-encoder进行数据降维、特征学习以及在深度神经网络预训练中的应用，为理解机器学习中的无监督学习提供了宝贵的资源。
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
最新发布
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
聚焦和增强递归神经网络
CSDN 人工智能
10-09 814
原文： Attention and Augmented Recurrent Neural Networks 译者： KK4SBB 责编：何永灿，关注人工智能，投稿请联系heyc@csdn.net或微信号289416419 递归神经网络是一种主流的深度学习模型，它可以用神经网络模型来处理序列化的数据，比如文本、音频和视频数据。它能把一个序列浓缩为抽象的理解，以此来表示这个序列，乃至...
RNN(循环神经网络)
m0_63167598的博客
03-20 7377
1.全连接神经网络的局限性 全连接神经网络虽然可以对一个事物进行预测，但是前一条数据的输入和后一条数据的输入是完全独立的，这就使得面对一些具有序列信息的数据无法处理。 比如，我们说一句话，每个字在这句话中都扮演着不同的角色，你不可能单个拉出来理解。 2.RNN的主要形式： 在这个图中：x代表当前状态下的输入，y代表当前状态下的输出。 h 代表接收到的上一个节点的输入，h'代表下一个节点的输入 我们可以看到y的值取绝与h'，x。 这是一个单元，我们把它序列化就可以获得如下形式：
RNN变体及其应用（详细）
weixin_47182486的博客
08-28 1474
ppt来自于李宏毅老师的视频 首先从带有记忆的网络开始： 前一步的隐藏层状态会写入记忆单元中 再次输入 可以发现相同输入。因为记忆单元存在，输出是不同的 rnn就是具有类似特点的网络，可以记忆之前输入的信息 同时rnn根据存储信息不同可以划分为不同的网络： 存储隐藏状态或者是输出 双向RNN： 将序列按照正反的双向顺序输入，根据两个的h获得输出y 优点是获得信息更广 LSTM 通过输入门决定是否将记忆写到记忆单元中 输出门决定是否将记忆单元中的值输出 遗忘门决定是否遗忘记忆单元的值 具体结构： 输
详解RNN(数据解释、结构、计算、优缺点)
qq_41915623的博客
06-05 4750
​ 传统的神经网络就像这种全连接网络，每个输入都和中间的隐藏层进行连接，然后输出。但这种网络，完全没有时序特点，无法深度挖掘具有时序特点的数据的特征。例如：x1 = ‘我的手机坏了’，x2 = ‘想买一个256g的苹果’。那么在全连接网络中，就很难理解‘256g的苹果’是真实的苹果还是手机了。​ 于是，就又了RNN（循环精神网络）。 ​ RNN网络会在下一个x中输入前一个网络的输出，不废话，直接上图，以下是我自己理解的图：这个是很多网上经典的图：这张图是转载的一篇博文的，关于RNN这篇博文也写得非常好
RNN（一）简介
qq_39809262的博客
06-06 644
RNN 简介 文章目录RNN 简介1. RNN起因2. 为什么需要RNN3. RNN都能做什么3.1 机器翻译3.2 语音识别3.3 生成图像描述RNN的结构和原理 1. RNN起因 现实世界中，很多元素都是相互连接的，比如室外的温度是随着气候的变化而周期性的变化的、我们的语言也需要通过上下文的关系来确认所表达的含义。但是机器要做到这一步就相当得难了。因此，就有了现在的循环神经网络，他的本质是：拥有记忆的能力，并且会根据这些记忆的内容来进行推断。因此，他的输出就依赖于当前的输入和记忆。 2. 为什么需要RN
神经网络知识点汇总——RNN
起风之后，只剩沙丘
09-13 1260
RNN，循环神经网络是一种最新的神经网络结构，和CNN不同的是，它不光在spatial上有一个forward的方向，同时还有一个依赖于时间的传播方向。其中最出名的，当属LSTM(long short time memory)长短期记忆网络。RNN architecture  传统的RNN的结构如上所示（左边的图为原始结构，右边的为按照时间序列展开后的结构，这里一个圆圈代表一层，是一系列神经元的集合，
循环神经网络详解(RNN原理和实现代码)
冲出仁川，走出马德里，故事还会再继续
05-20 1898
循环神经网络RNN1、卷积神经网络与循环神经网络简单对比2、详解RNN2.1 循环核2.2 循环核按照时间步展开2.3 循环计算层：向输出方向生长2.4 RNN训练2.5 Tensorflow2描述循环计算层2.6 循环计算过程1pre12.6.1 独热编码实现2.6.2 Embedding 编码方式2.7 循环计算过程之4pre12.7.1 独热编码方式实现2.7.2 Embedding编码方式实现 1、卷积神经网络与循环神经网络简单对比 CNN:借助卷积核（kernel）提取特征后，送入后续网络(如全
rnn神经网络 层次_图神经网络最新论文总结（附源码）
weixin_32111725的博客
01-01 609
图神经网络（GNN）是深度学习领域最新的研究成果，在生物信息学、化学信息学、社会网络、自然语言处理和计算机视觉等多学科领域有着广泛的应用。这一块的研究也吸引了像腾讯这样的巨头参与。图神经网络是一种有效的图表示学习框架。 Gnn 遵循一个邻域聚合方案，其中一个节点的表示向量是通过递归聚合和转换相邻节点的表示向量来计算的。 图分类问题在许多不同的领域也都有实际的应用。 本文总结了近一年来图神经网络在深...
时序模型：循环神经网络（RNN）
热门推荐
xunyishuai5020的博客
02-22 1万+
1. 循环神经网络（RNN）定义 循环神经网络（recurrent neural network, RNN）是一类专门设计处理不定长序列数据的神经网络。 与使用一种新计算1作为核心的卷积神经网络不同，循环神经网络仍使用特征的线性组合作为计算核心，并使用共享参数策略使模型能泛化不同长度的序列数据。 2. 循环神经网络的由来：从全连接神经网络（DNN）到循环神经网络（RNN） 2.1 全连接神经网络的不足 最初，研究者直接将时间序列看作特征向量，将序列每一时刻的观测作为一种特征输入全连接神经网络，来预测序列的标
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值