第十章 循环神经网络RNN&LSTM

于 2024-08-21 08:00:00 发布
阅读量331 收藏 19
点赞数 16
分类专栏： PyTorch 文章标签： rnn lstm 人工智能 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44063529/article/details/141287877
版权

文章目录

一、时间序列表示方法

在这里插入图片描述

在这里插入图片描述

  • 使用数值表示序列数据
    在这里插入图片描述

  • 时间序列数据表示
    在这里插入图片描述

  • 图像数据的序列表示
    在这里插入图片描述

  • 文字序列数据表示（词嵌入）
    在这里插入图片描述

  • one-hot由于 ① 稀疏；②高维度等特点，使得很少使用
    经常使用：① word2vec；② glove
    在这里插入图片描述

  • 序列数据中的Batch格式
    在这里插入图片描述

1.1 pytorch中表示时间序列

  • word2vec方式
    ① 首先要保存一个Embedding字典（一般在网络上下载）
    ② 对每个输入单词使用index索引在Embedding字典中找到一个向量表示
    在这里插入图片描述

  • GloVe
    是NLP领域已知的一个字典，可以直接得到单词对应的向量
    在这里插入图片描述

二、RNN原理

2.1 使用全连接的情感分析任务情景

在这里插入图片描述

  • 缺陷：
    ① 在长句输入模型中，参数量很大
    ② 文字前后没有联系
    在这里插入图片描述

2.2 优化模型

  • 第一步：共享权重（减少学习的权重参数量）
    在这里插入图片描述

  • 第二步：持续记忆（使序列前后存在联系）
    使用 h i h_i hi​ 单元充当 “语境记忆单元” ，当前序列计算均与前面的 “语境记忆单元” 有关，从而保证各序列之间存在联系
    在这里插入图片描述

2.3 RNN单元结构

  • 折叠的单元结构
    在这里插入图片描述

  • 展开的单元结构
    在这里插入图片描述

  • RNN的公式表示
    在这里插入图片描述

在这里插入图片描述

2.4 RNN模型实现

在这里插入图片描述

  • pytorch实现
    在这里插入图片描述

① rnn = nn.RNN(input_size,hidden_size,num_layer)
a) input_size：输入序列值的向量维度 feature_len
b) hidden_size：隐藏（语境记忆）单元的维度 hidden_len
c) num_layer：设置RNN上下连接的层数，默认为1
在这里插入图片描述

② out, h t h_t ht​ = rnn(x,h0)
a) x：表示输入序列数据 [seq len,b,word vec]，RNN时间序列步个数等于seq len
b) h0：表示起始记忆单元 h i h_i hi​的初始值 [num layer,b,h dim]
c) h t h_t ht​：表示最后一个序列步(t)上每一层的 h t h_t ht​ 的表示
d) out：表示最后一层中每个时间序列步计算得到的 h t h_t ht​的表示
在这里插入图片描述

  • 单层RNN实现
    在这里插入图片描述

  • 多层RNN
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • pytorch的另一种实现方式
    构建单个时间步的结构，手动的连接各时间步
    在这里插入图片描述

在这里插入图片描述

① 一层RNN
在这里插入图片描述

② 二层RNN
在这里插入图片描述

三、时间序列预测实战

预测正弦波的下一输出范围
在这里插入图片描述

  • 创建用于训练的样本数据
    在这里插入图片描述

  • 网络结构
    在这里插入图片描述

  • 训练过程
    在这里插入图片描述

  • 预测过程
    在这里插入图片描述

四、梯度弥散与梯度爆炸

在这里插入图片描述

4.1 梯度爆炸

由于反向传播式中包含， W R k W^k_R WRk​项。
1）当 W R W_R WR​大于1时，梯度将指数级增长。loss 会突然变大
2）当 W R W_R WR​小于1时，梯度将趋近于0。loss 会几乎不变
在这里插入图片描述

  • 解决梯度爆炸的方法
    在这里插入图片描述

  • pytorch实现解决梯度爆炸的方法
    使用 torch.nn.utils.clip_grad_norm_(param，threshold)
    ① param：指定要限制梯度下降的参数
    ② threshold：指定梯度下降值的阈值
    在这里插入图片描述

4.2 梯度弥散

在这里插入图片描述

  • 使用LSTM解决梯度弥散问题
    在这里插入图片描述

五、LSTM

① 标准的RNN结构中，使用的 h i h_i hi​ 是短时记忆（只能较好的接收相邻近的时间步输出值），对长时间序列信息不能很好的获知
② LSTM实现了长短时记忆功能
在这里插入图片描述

5.1 LSTM结构分析

  • 标准RNN的结构图
    在这里插入图片描述

  • LSTM的RNN单元结构
    主要原理是：设计了三个门控开关（遗忘门、输入门、输出门）
    ① 遗忘门控制传入的前面所有时间步的记忆信息
    ② 输入门控制结合前一时间步输出与当前时间步的输入的数据
    ③ 输出门控制当前时间步的输出数据
    门控开关均由sigmoid函数实现
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 抽象LSTM的结构
    在这里插入图片描述

在这里插入图片描述

5.2 LSTM解决梯度弥散

将标准RNN中 W R W_R WR​指数项变为，多个 W W W相加，一定程度上减少了梯度弥散
在这里插入图片描述

5.3 LSTM的pytorch实现

① lstm_rnn = nn.LSTM(input_size,hidden_size,num_layer)
a) input_size：输入序列值的向量维度 feature_len
b) hidden_size：隐藏（语境记忆）单元的维度 hidden_len (此处包含了LSTM中的 C C C 与 h h h)
c) num_layers：设置RNN上下连接的层数，默认为1
在这里插入图片描述

② out, h t h_t ht​, c t c_t ct​ = lstm_rnn(x,h0)
a) x：表示输入序列数据 [seq len,b,word vec]，RNN时间序列步个数等于seq len
b) h0：表示起始记忆单元 h i h_i hi​的初始值 [num layer,b,h dim]
c) h t h_t ht​：表示最后一个序列步(t)上每一层的 h t h_t ht​ 的表示
d) c t c_t ct​：表示最后一个序列步(t)上每一层的 c t c_t ct​ 的表示
d) out：表示最后一层中每个时间序列步计算得到的 h t h_t ht​的表示
在这里插入图片描述

注：传入的是初始状态的 c t 0 c_{t0} ct0​与 h t 0 h_{t0} ht0​

  • pytorch实现
    在这里插入图片描述

  • pytorch对LSTM的另一种实现
    在这里插入图片描述

在这里插入图片描述

① 一层LSTM的实现
在这里插入图片描述

② 二层LSTM的实现
在这里插入图片描述

六、情感分类实战

在这里插入图片描述

在这里插入图片描述

  • 使用goolge的实验平台
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

注：① 若RNN中使用双向的LSTM，则输入与输出的 h h h 和 c c c 中num_layer会乘以2
② output中hid_dim会乘以2

  • 初始化词嵌入字典
    在这里插入图片描述

  • 训练过程
    在这里插入图片描述

  • 测试过程
    在这里插入图片描述

ModelBulider
关注
  • 16
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
神经翻译笔记4. 循环神经网络（RNN）
Timson的NLP笔记本
10-21 1422
神经翻译笔记4. 循环神经网络（RNN） 普通RNN (Vanilla RNN)RNN的反向传播事与愿违的RNN基于门控单元的RNN长短期记忆网络 (LSTM)门控循环单元 (GRU)双向的RNN与更深的RNN双向RNN堆叠RNN批量训练RNNRNN能解决的任务参考文献 本文来自于如下来源 [Neubig2017]第6节(主要来源，结构遵从此文) [Koehn2017]13.4.4、13.4.5...
11.循环神经网络RNN&LSTM(深度学习与PyTorch入门实战教程)
03-01
(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与...
第十章 循环神经网络
weixin_41802429的博客
12-12 296
简介：循环神经网络（RNN）主要被用于处理序列相关的问题，比如在自然语言领域应用循环神经网络的情况就较多；循环神经网络也可以用于解决分类问题，虽然在图片特征的提取上没有卷积神经网络那样强大，但是本章仍然会使用循环神经网络来解决图片分类的问题，并主要讲解循环神经网络的工作机制和原理。 1.循环神经网络入门 之前讲到，卷积神经网络有几个特点：首先，对于一个已经搭建好的卷积神经网络模型，它的输入数据的维度是固定的，比如在处理图片分类问题时输入的图片大小是固定的；其次卷积神经网络模型最后输出的数据的维度也是固定的，
Recurrent vs. Recursive Neural Networks | 递归神经网络和循环神经网络的RNN之争
我是菜鸡
06-30 1379
写这个文章的原因是我又遇到了Recurrent和Recursive。我读了一个论文，开始的时候我心里默认是RNNs（Recurrent），但是读到文章最后发现作者写的是RNN（Recursive）。所以翻译一下这段文字顺便写一下二者的区别。...
循环神经网络——实现LSTM
常思考->有目标->重实践->善反思
03-03 1798
gitbook阅读地址：循环神经网络--实现LSTM · 超智能体 梯度消失和梯度爆炸 网络回忆：在《循环神经网络——介绍》中提到循环神经网络用相同的方式处理每个时刻的数据。 动态图： 数学公式： 设计目的：我们希望循环神经网络可以将过去时刻发生的状态信息传递给当前时刻的计算中。 实际问题：但普通的RNN结构却难以传递相隔较远的信息。
YJango的循环神经网络——实现LSTM YJango的循环神经网络——实现LSTM YJango YJango 7 个月前 介绍 描述最常用的RNN实现方式：Long-Short Term Me
周红伟讲AI
10-07 809
YJango的循环神经网络——实现LSTM YJango 7 个月前 介绍 描述最常用的RNN实现方式：Long-Short Term Memory（LSTM） 梯度消失和梯度爆炸 网络回忆：在《循环神经网络——介绍》中提到循环神经网络用相同的方式处理每个时刻的数据。 动态图： 数学公式： 设计目的：我们
深度学习花书学习笔记 第十章 序列建模：循环神经网络
liutianheng654的博客
10-09 1456
展开计算图 就是将循环图展开成展开图而已。 循环神经网络   就是如上网络，将某一层不断重复，输出重新作为输入的一部分。 双向RNN 应用于上下文环境都影响结果的场景，如语音识别，文章翻译等 基于编码-解码的序列到序列架构 可以将可变长度的输入转变为可变长度的输出。这里也提到了注意力模型。后面了解下自编码网络有没有用到循环神经网络的技术。自编码网络是将一个东西编码后解码再还...
LSTM(Long Short Term Memory)和RNN(Recurrent)教程收集　（知乎）
热门推荐
omnispace的博客
09-20 1万+
作者：知乎用户 链接：https://www.zhihu.com/question/29411132/answer/51515231 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 刚好毕设相关，论文写完顺手就答了 先给出一个最快的了解+上手的教程： 直接看theano官网的LSTM教程+代码：LSTM Networks for Sen
深度学习（花书）学习笔记——第十章 序列建模：循环神经网络
leichangqing的博客
04-04 427
展开计算图 就是将循环图展开成展开图而已。 循环神经网络   就是如上网络，将某一层不断重复，输出重新作为输入的一部分。 双向RNN 应用于上下文环境都影响结果的场景，如语音识别，文章翻译等 基于编码-解码的序列到序列架构 可以将可变长度的输入转变为可变长度的输出。这里也提到了注意力模型。后面了解下自编码网络有没有用到循环神经网络的技术。自编码网络是...
《深度学习之pytorch实战计算机视觉》第10章 循环神经网络（代码可跑通）
csdn_xmj的博客
05-09 1542
torch版本>='1.6.0'。 循环神经网络（Recurrent Neural Network，简称RNN）是深度学习中重要的内容和我们之前使用的卷积神经网络有着同等重要的地位。循环神经网络主要被用于处理序列（Sequences）相关的问题，比如在自然语言领域应用循环神经网络的情况就较多；当然，也可以用于解决分类问题，虽然在图片特征的提取上没有卷积神经网络那样强大，但是本章仍然会使用循环神经网络来解决图片分类的问题，并主要讲解循环神经网络的工作机制和原理。
深度学习与PyTorch入门实战教程-循环神经网络RNN&LSTM.rar
04-07
循环神经网络RNN&LSTM部分，可能详细讲解了如何设置和训练RNN和LSTM模型，包括数据预处理、模型构建、训练过程和结果评估。通过实例代码，初学者将能够理解如何在PyTorch中实现这些网络，并应用到实际项目中。 学习...
循环神经网络RNN与LSTM
06-12
循环神经网络（Recurrent Neural Network, RNN）和长短时记忆网络（Long Short-Term Memory, LSTM）是深度学习领域中的重要模型，特别是在处理序列数据，如自然语言、时间序列预测和音频处理等方面有着广泛的应用。...
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测
05-03
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测： 数据集： tq.csv记录了某地每隔1小时的气象数据： Date Time：时间（日期是 日月年 的格式） p (mbar)：大气压 T (degC)：气温 rh (%)：湿度 使用循环神经...
【项目实战】Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断).zip
08-17
【项目实战】Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断) 资料说明：包括数据集+源代码+Word文档说明。 资料内容包括： 1)项目背景； 2)收集数据； 3)数据预处理； 4)探索数据分析； 5)特征工程； 6...
【大模型理论篇】大模型时代下Bert去哪啦？
weixin_65514978的博客
08-20 1102
bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning
AI赋能软件测试：从自动化到智能化，让测试工作事半功倍
m0_64146991的博客
08-15 530
APP端测试，专项测试，测试工具
天猫商品详情API：深度挖掘商品推荐与关联的新路径
最新发布
2401_85789772的博客
08-20 372
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
[RIS]Bridging Vision and Language Encoders
weixin_45863274的博客
08-15 1279
在本文中，我们对参考图像分割的高效调整问题进行了研究。我们提出了一种名为 Bridger 的新型适配器，以促进跨模态信息交换，并将特定任务信息注入预训练模型。我们还设计了用于图像分割的轻量级解码器。通过在具有挑战性的基准上进行评估，我们的方法仅需 1.61% 至 3.38% 的主干参数更新即可实现相当或更优的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModelBulider

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值