学习分享：RNN（持续更新）

最新推荐文章于 2024-04-22 11:13:03 发布
置顶 最新推荐文章于 2024-04-22 11:13:03 发布
阅读量485 收藏 1
点赞数 1
分类专栏： 深度学习 文章标签： 循环神经网络 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liz_Lee/article/details/107529471
版权
本文详细介绍了RNN的基础，包括其为何适用于序列数据，如何通过共享参数实现泛化，以及RNN的问题如灾难性遗忘和梯度消失/爆炸。接着探讨了Bi-RNN和门控RNN，如LSTM和GRU，它们通过门机制解决了RNN的长期依赖问题，并解释了这些结构的工作原理。
摘要由CSDN通过智能技术生成

目录

1 RNN基础

1.1 what RNN？

用于处理序列数据（可变长）的NN

1.2 why RNN？

在模型不同部分，共享参数
在几个时间步内，不需要分别学习权重
也能能泛化到不同长度的样本

为什么每个时间步用相同参数？
（1）减少参数数量
（2）实现可变长度
如果每步一个权重，不同长度的输入，权重的个数不一样，无法实现。
（3）泛化到新序列
如果每步一个权重，不能泛化到训练时没有见过的序列长度。

1.3 how RNN？

1.3.1 隐含到隐含

在这里插入图片描述
横向：时间轴
纵向：深度方向

1.3.2 输出到隐含

在这里插入图片描述

最低0.47元/天 解锁文章
liz_lee
关注
专栏目录
深度学习的调参指南（炼丹）
06-20
10. **持续学习与更新**： - 深度学习领域快速发展，新的研究和工具不断出现，定期学习最新成果，可以提高调参效率。 总之，深度学习调参是艺术与科学的结合，需要理论知识、实践经验以及对最新研究的敏感度。这份...
RNN的网络结构和参数更新方式
weixin_45885232的博客
04-11 1891
1. RNN定义 RNN是处理时序问题的重要工具。对于一个xxx，与一个UUU计算后得到一个hhh，这个hhh与VVV计算后得到输出ooo，hhh与WWW计算后的结果返回到hhh的输入，由此形成了一个循环，这就是循环神经网络； 2. RNN参数更新方式 假设一个输入序列xxx=x1,x2,...,xn{x_1,x_2,...,x_n}x1​,x2​,...,xn​，网络展开后看作一个nnn层的前馈神经网络，第ttt层对应者时刻ttt的状态。记第ttt层的输入状态、隐藏状态和输出状态分别为xtx_txt​，h
深度学习基础——循环神经网络的结构及参数更新方式
最新发布
weixin_39753819的博客
04-22 1083
循环神经网络是一种具有循环连接的神经网络结构，用于处理序列数据，如文本、时间序列等。其主要特点是可以将过去的信息传递到当前时间步，从而在处理序列数据时具有记忆性。
RNN循环神经网络中的权重更新算法-BPTT
MSFollower的博客
07-12 7488
参考： http://ir.hit.edu.cn/~jguo/docs/notes/bptt.pdf http://www.cnblogs.com/wacc/p/5341670.html https://zybuluo.com/hanbingtao/note/541458 http://www.wildml.com/2015/10/recurrent-neural-networ
花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN
今天你学习了吗
12-22 1588
目录 0. 前言 1. RNN 计算图 2. RNN 前向传播 3. RNN 反向传播 4. 导师驱动过程（teacher forcing） 5. 不同序列长度的 RNN 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN 花书+吴恩达深度学习（十六）序列模型之双向循环网络 BRNN 和深度循环网...
RNN基本原理及梯度消失、梯度爆炸的问题原因及解决方法
PuJiang-的博客
03-25 7454
一、RNN基本结构 1、隐层状态sts_tst​ st=σ(Uxt+Wst−1+b)s_t=\sigma(Ux_t+Ws_{t-1}+b)st​=σ(Uxt​+Wst−1​+b) σ\sigmaσ()是激活函数，通常选用Tanh、ReLU。 2、输出状态oto_tot​ ot=g(Vst+c)o_t=g(Vs_t+c)ot​=g(Vst​+c) ggg()是激活函数，对于分类任务通常选用sigmoidsigmoidsigmoid()。 3、Loss计算 输出状态oto_tot​与目标输出yty_tyt​计
正文很快更新哟^q^3
08-03
《繁凡的深度学习笔记》是一本专门为深度学习初学者编写的综合教程，旨在通过简明易懂的语言和全面的知识框架帮助读者轻松掌握深度学习。...读者可以通过持续关注作者的更新，不断拓展和深化自己的深度学习技能。
AI人工智能技术探索 NLP技术分享 自然语言处理技术 深度学习与自然语言处理 共13页.pptx
04-26
自然语言处理（NLP）是人工智能的一个重要分支，主要研究计算机如何理解和生成人类语言。近年来，随着深度学习技术的发展，NLP领域取得了显著...未来的研究将继续探索如何更好地利用深度学习，推动NLP技术的持续发展。
吴恩达 深度学习课后作业系列 3
06-12
通过完成这些作业，你可以深化对神经网络结构、训练过程以及超参数调优的理解，这对于后续进一步研究深度学习，例如卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）等高级主题具有重要的铺垫作用。...
RNN lstm(回归例子)代码及高版本更新
07-04
莫凡教程RNN的lstm对回归例子的代码及在高版本TensorFlow代码更新
深度学习的“灾难性遗忘“
qq_20481015的博客
08-20 1084
目前DNN的优点是可以建立输入输出之间非常复杂的映射关系，用于识别、分类和预测。但是一旦学习阶段结束，它所能做的操作就固化了，既难以方便的学习新的映射，也不能对实际环境中存在情境信息(比如自身状态，环境变化、任务变化等)做出灵活的响应，难以满足复杂多变的需求，即缺少情境依赖学习(contextual-dependent learning)的能力。 一般而言，当前的DNN也受到“灾难性遗忘"问题的...
搜索引擎中的PageRank算法
每一个不曾起舞的日子，都是对人生的辜负。
06-09 3477
PageRank算法 PageRank算法总的来说就是预先给每个网页一个PR值（下面用PR值指代PageRank值），由于PR值物理意义上为一个网页被访问概率，所以一般是1N1N\frac{1}{N}，其中N为网页总数。另外，一般情况下，所有网页的PR值的总和为1。如果不为1的话也不是不行，最后算出来的不同网页之间PR值的大小关系仍然是正确的，只是不能直接地反映概率了。 所以PageRank算...
Tree-CNN：一招解决深度学习中的「灾难性遗忘」
Paper weekly
04-25 2505
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
Learning RNN from scratch (ＲＮＮ神经网络参数推导)
Work Hard, Play Harder!
06-28 1万+
从上一篇原创的文章到现在，已经有一年多了，目前终于有一些新的总结分享个大家。 本文主要讲了RNN神经网络的基本原理，并给出了RNN神经网络参数更新的详细推导过程（back propagation），对于想知道RNN的参数是如果推导的，可以仔细阅读本文。 因为时间有限，下面的总结难免有疏漏之处，请大家指正。 本文结合了一个非常经典的RNN的例子代码，进行了详细的说明，RNN的代
深度学习之循环神经网络（RNN）
qq_46439619的博客
01-21 597
卷积神经网络 有些数据是与时间序列相关的，是可以根据上文预测出下文的，比如鱼离不开——，我们能根据上文预测出可能性最大的应该填“水”字，这种预测就是通过脑记忆体（循环核）提取历史数据特征，预测出接下来最可能发生的情况 循环核：参数时间共享，循环层提取时间信息。 记忆体(循环核)内存储着每个时刻的状态信息 循环核: 前向传播时：记忆体内存储的状态信息ht，在每个时刻都被刷新，三个参数矩阵wxh,whh,why自始至终都是固定不变的 反向传播时： 三个参数矩阵wxh,whh,why被梯度下降法更新。(我们的目
RNN中的的反向传播推导（通俗版）
热门推荐
村民的菜篮子
07-01 1万+
反向传播其实就是链式求导法则的重复使用，链式法则其实就是先计算外层函数的导数，再计算内层函数的导数，一直重复。误差反向传播的过程，就是层层求导的过程。在看RNN的反向传播之前，先看看简单网络的反向传播。 1、反向传播，链式求导 看一个小例子，如下图所示，其中f函数由x,y,z三种变量的组合来决定，x和y并不是直接和f相连。假设，x+y用q来表示，作为中间结果q=x+y。首先来看一下前向传播过程...
RNN(循环神经网络)详解
nwnlp的博客
03-16 3136
Why RNN 通常我们在用CNN或者其他分类器做图像识别的时候是把每张图片作为一个独立的事物来对待的，也就是图片与图片是没有任何关联的，这也是正确的。 然而，我们在做词性标注的时候，例如：我爱你。“爱“这个词可以是动词，或者名词。如果我们把“爱“这个词独立出来对它来分类的话，那就是50%的概率是动词，50%的概率是名词。显然，这样的做法是不对的，我们人在对“爱“做词性标注的时候，大脑潜意识地...
rnn参数共享的原因之一
ningyanggege的博客
06-13 5602
harry is boy and harry is very nice参数共享的作用就是能在第一个位置识别harry出来，那么同样在第五个位置也能将harry识别出来；因为相同的输入和相同的参数，就会有相同的结果；比如说卷积神经网络，卷积参数共享，换个说法，一个固定的卷积参数必然专门识别某种特征，比如说边框，参数共享就说明该卷积能在图片不同的地方探测到该特征；所以说参数共享本质上就是说明该模块功能...
掌握TensorFlow机器学习实战：2017版高级教程
作者尼克·麦克卢尔结合自身在数据分析和人工智能领域的经验，分享了实用技巧和见解，并鼓励读者在博客（<http://fromdata.org/>）和Twitter（@nfmcclure）上持续学习和交流。 《TensorFlow Machine Learning ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值