水很深的深度学习笔记—————循环神经网络RNN篇

最新推荐文章于 2024-09-02 14:58:59 发布
最新推荐文章于 2024-09-02 14:58:59 发布
阅读量561 收藏
点赞数
文章标签： 深度学习 概率论 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64013271/article/details/121665641
版权

目录

计算图

RNN

计算图的引入为了更方便表示网络

现实生活存在很多序列化结构，需要建立更优秀的序列数据模型

文本、语音、视频、时态数据

RNN

RNN一般结构

x_t表示T时刻的输入，s_T表示记忆，O_t表示输出，U V W 是RNN网络的连接权重，b_s和b_o是RNN的偏置，

 LSTM（长短时记忆网络）

一个LSTM单元由输入门、输出门、遗忘门组成，三个门控制信息进出单元

 遗忘门  对细胞状态信息遗忘程度的控制，输出当前状态的遗忘权重，

 输入门--实现细胞状态输入接受程度的控制，输出当前信息接受权重

 输出门--实现对细胞i状态输出认可程度的控制，输出当前输出信息的认可权重

 还有许多东西需要时间消化，后续继续补

参考链接

https://github.com/datawhalechina/unusual-deep-learning/blob/main/docs/5.CNN.md

data小孙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
水很深的深度学习-Task05循环神经网络RNN
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
11-29 683
循环神经网络 Recurrent Neural Network 参考资料： Datawhale水很深的深度学习——RNN 史上最小白之RNN详解_Tink1995的博客-CSDN博客_rnn隐藏层 Pytorch：RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸 RNN概念介绍 RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆..
深度学习（PyTorch）——循环神经网络（RNN）基础篇五
qq_42233059的博客
08-29 956
深度学习（PyTorch）——循环神经网络（RNN）基础篇五
吴恩达深度学习笔记——循环神经网络（RNN）
qq_35175666的博客
03-19 1550
目录 一、为什么使用序列模型（Why sequence models） 二、数学符号（Notation） 三、循环神经网络（Recurrent neural network） 四、通过时间的反向传播（Backpropagation through time） 五、不同类型的循环神经网络（Different types of RNNs） 六、语言模型和序列生成（Language mode...
深度学习 —— 循环神经网络RNN
zcy的博客
10-31 526
本博客是基于吴恩达老师深度学习视频所做的笔记，没有任何代码也无需强大的数学基础，主要是对一些概念的理解。 如有错误欢迎指出~ 文章目录循环神经网络RNN序列模型数学符号循环神经网络前向传播反向传播不同类型的循环神经网络多对多多对一一对一一对多语言模型和序列生成新序列采样RNN的梯度消失GRU单元长短期记忆LSTM双向循环神经网络深层循环神经网络   循环神经网络RNN 序列模型 输入一段音频片段X，输出对应片段的文字记录Y。此时X和Y都是序列数据，因为X是按时序播放的片段，而Y是一系列单词。.
深度学习系列笔记09循环卷积神经网络RNN
三木今天学习了嘛の博客
10-13 2143
如果说卷积神经网络可以有效地处理空间信息， 那么本章的循环神经网络（recurrent neural network，RNN）则可以更好地处理序列信息。 循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。
深度学习实战——循环神经网络（RNN、LSTM、GRU）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
04-23 7392
本篇博客主要介绍几种循环神经网络的原理，并进行了代码实践与优化（内含代码与数据集）。
吴恩达深度学习笔记——序列模型与循环神经网络（Sequence Models）
亦梦亦醒乐逍遥的博客
08-16 1114
循环神经网络
【动手学深度学习】李沐——循环神经网络
FavoriteStar的博客
11-04 1681
关于李沐老师的【动手学深度学习】课程其中的循环神经网络章节的学习记录，包括完整代码的解释及个人见解。
深度学习——文本、序列（循环神经网络RNN)(Tensorflow)笔记
qq_43842886的博客
02-17 1388
深度学习——文本一、文本数据处理1、one-hot 编码 一、文本数据处理 文本进行分词，得到标记，对标记做one-hot编码或词嵌入。 1、one-hot 编码 分词—>添加索引—>编码 将每个单词与唯一的一个整数索引关联，将整数索引i转换为长度为N的二进制向量，该向量第i个元素为1，其余元素为0。 import numpy as np #单词级 samples = ['The cat set on the mat.','The dog ate my homework.'] token_in
神经网络与深度学习笔记——卷积神经网络的原理
weixin_42194139的博客
04-01 792
神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。第二章反向传播算法如何工作——反向传播算法原理。主要介绍了反向传播算法的工作原理。 第三章改变神经网络的学习方法——代价函数，规范化，过拟合。主要介绍了不同的代价函数，以及规范化等对传统代价函数的改造。 第四章深度神经...
深度学习笔记之循环神经网络(五)循环神经网络的反向传播过程
静静的学习就好
05-23 594
上一节介绍了Softmax回归的反向传播过程。本机将介绍递归神经网络的反向传播过程。
学习笔记：深度学习（6）——基于深度学习的语言模型
Morganfs的博客
04-25 1466
预训练模型梳理：从NNLM到词嵌入、从ELMo到GPT&BERT，以及After GPT&BERT。
（一，1NN-QI）神经网络与深度学习——吴恩达深度学习配套笔记
Minion_Yellow的博客
02-01 957
从神经网络基础到量化投资应用 本系列文章主要是作为学习过程中的一个笔记，也作为一个分享。欢迎大家交流。本内容共分三部分，第一部分为神经网络基础，借鉴吴恩达教授的神经网络教程和《Deeplearning》一书，第二部分为代码实现，基于Tensorflow的框架。第三部分为应用，将神经网络结合量化投资，介绍了神经网络在量化投资过程中的应用，主要来源Top极宽量化项目 【一】神经网络基础知识 本部分的内...
CNN在处理文本和图像时有什么共同点和不同点
最新发布
GamBleout的博客
09-02 177
在处理文本时，CNN可能使用一维卷积操作（如TextCNN），以捕捉文本中的n-gram特征。：虽然CNN也可以用于文本处理（如文本分类、情感分析等），但此时输入的是文本数据，通常需要先转换为词向量或字符向量的形式，形成一维或二维的矩阵。：CNN通过权重共享机制，减少了模型参数的数量，降低了计算复杂度，并提高了模型的泛化能力。：CNN具有层次化的结构，从低级的特征提取到高级的特征组合，逐渐构建出对数据的全面理解。：池化层（如最大池化、平均池化）用于降低数据的空间维度，减少计算量，并提取最重要的特征。
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 304
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
Slideflow：数字病理学中的深度学习与全切片可视化工具库｜文献精析·24-09-02
罗小罗同学的博客
09-02 1005
Slidefow是一个Python包，提供了一套深度学习工具库，这些工具库使用PyTorch和Tensorflow后端实现。它被开发用于为科学研究构建和部署深度学习组织病理学应用，提供端到端工具包，包括高效的数据处理、模型训练、评估、不确定性量化、可解释性以及在图形用户界面（GUI）中模型部署。Slidefow包含一个全切片用户界面，Slidefow Studio，用于实时生成全切片图像的预测和热力图。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 405
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
深度学习——LLM大模型分词
一世纤华的博客
08-29 792
自从chatgpt出现，大模型的发展就进入了快车道，各种各样的大模型卷上天，作为一个在大模型时代的科研人，即使你不向前，也会被时代裹挟着向前，所以还是自己走快一点比较好，免得被后浪拍死在沙滩上。对于我而言，写文章更多的是对知识的总结和回顾，当然如果我的文章能够对你的学习有所帮助我也是挺开心的。这篇文章主要参考B站上的这位大神的视频以及Huggingface上的总结。
循环神经网络RNN在机器学习中的应用与实现
循环神经网络（Recurrent Neural Network，简称RNN）是深度学习领域中一种重要的神经网络结构，尤其适用于处理序列数据。RNN的出现是为了弥补传统算法如BP（Backpropagation）和CNN（Convolutional Neural Networks...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值