RNN（embedding编码、LSTM、GRU）

最新推荐文章于 2024-01-22 10:51:26 发布
最新推荐文章于 2024-01-22 10:51:26 发布
阅读量203 收藏
点赞数
分类专栏： 深度学习 文章标签： rnn embedding lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50247958/article/details/132011326
版权

循环神经网络的应用

一、embedding编码

在这里插入图片描述

  • 词汇表大小：你的编码要表示多少个单词。
  • 编码维度：用几个数字表示一个单词。
  • embedding对输入数据的维度也有要求，要求输入数据是二维的。

二、预测字母

1、输入一个字母，预测下一个字母（embedding编码）

在这里插入图片描述
在这里插入图片描述
搭建网络时增加了一层embedding层，先对输入数据进行编码，生成一个5行2列的参数矩阵，实现编码可训练。
在这里插入图片描述
在这里插入图片描述

2、输入连续字母预测下一个

在这里插入图片描述
用for循环把连续四个数作为输入特征，添加到x_train中。第五个数作为标签添加到y_train中。
在这里插入图片描述
连续输入4个字母得到输出，所以时间展开步数是4.
Embedding（26，2）：26表示词汇量是26，2表示每个单词用2个数值编码。
这一层会生成一个26层2列的参数训练矩阵。
在这里插入图片描述
上面是对模型进行训练。接下来验证预测：
在这里插入图片描述

三、用RNN实现股票预测

下载所需要的股票数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
输出值是第61天的开盘价，因此dense值是1.
summary打印出网络结构和参数统计。
在这里插入图片描述
在这里插入图片描述
三个评价指标：
在这里插入图片描述
误差越小，预测与真实值越接近。

四、长短记忆网络LSTM

传统循环网络RNN，可以通过记忆体实现短期记忆，进行连续数据的预测。但是当连续数据的序列变长时，会使展开时间步过长，在反向传播更新参数时，梯度要按时间步连续相乘，会导致梯度消失。

所以提出了LSTM。
在这里插入图片描述

1、详细介绍LSTM

在这里插入图片描述

  • 三个门限：它们都是当前时刻的输入特征 xt 和上一时刻的短期记忆的 ht-1 的函数。
    wi，wo ，wf 是待训练参数矩阵，bi，bo，bf 是待训练参数矩阵。它们都经过sigmoid激活函数使门限的范围在0-1之间。

  • 细胞态表示长期记忆，等于上个时刻的长期记忆 Ct-1 乘以遗忘门 + 当前时刻归纳出的新知识*输入门。（通俗讲：过去记忆留存下的知识+新知识）

  • 记忆体表示短期记忆，属于长期记忆的一部分。（当给别人讲述时，不可能一字不落的将下来，讲的是留存在脑中的长期记忆，经过输出门筛选后的内容，这就是记忆体的输出）

  • 候选态表示归纳出的待存入细胞态的新知识。（上一时刻的短期记忆ht-1+当前时刻的输入xt=即将存入脑中的现在的记忆）

2、TF实现LSTM

在这里插入图片描述

3、LSTM实现股票预测代码

把RNN层用LSTM层替代。共两处改动
1、导入
在这里插入图片描述
2、替换在这里插入图片描述

在这里插入图片描述

五、GRU网络

简化的LSTM。
在这里插入图片描述

1、GRU计算过程

在这里插入图片描述

  • GRU使记忆体ht融合了长期记忆和短期记忆。
  • 两个门限的取值范围也是0-1.

2、tf描述GRU层

在这里插入图片描述
代码两处改动：
在这里插入图片描述
在这里插入图片描述

799星辰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大部分，机器学习神经网络RNN教程、LSTM、GRU。
Word embedding 到 Bert 历程（word embedding、RNN\LSTM\GRU、seq2seq、attention、transformer、bert）
weixin_41640583的博客
12-30 359
下述内容是Word embedding 到 Bert 的主要流程，绿框是发展历程，蓝框是对应的简单介绍，详细内容参见后续介绍。
【LSTM+embeddingbag】进行文本分类完整代码~
weixin_50906723的博客
10-29 583
LSTM+embeddingbag - 文本分类
Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本）
あずにゃん梓喵的博客
07-28 2110
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2. RNN经典案例 2.1 使用RNN模型构建人名分类器 学习目标: 了解有关人名分类问题和有关数据. 掌握使用RNN构建人名分类器实现过程. 关于人名分类问题: 以一个人名为输入, 使用模型帮助我们判断它最有可能是来自哪一个国家的人...
6 时间序列（不同位置的装置如何建模）： GRU+Embedding
最新发布
qq_28611929的博客
01-22 663
很多算法比赛经常会遇到不同的物体产生同含义的时间序列信息，比如不同位置的时间序列信息，风力发电、充电桩用电。经常会遇到该如此场景，对所有数据做统一处理喂给模型，模型很难学到区分信息，因此设计如果对不同位置的装置做嵌入操作，这也是本文书写的主要目的之一，如果对不同位置装置的时序数据做模型呢？
rnn_embedding_1.py
02-23
rnn_embedding_1.py
EmbeddingRNN
TBTB的博客
07-17 444
RNN–Embedding and Linear Layer 目标 网络总体框架 import torch idx2char = ['e', 'h', 'l', 'o'] x_data = [[1, 0, 2, 2, 3]] # The input sequence is 'hello' (batch, seq_len)，不同于charater_testRNN 和 BasicRNN 中的方式 y_data = [3, 1, 2, 3, 2] # The output sequence i
RNN循环神经网络——embedding的理解
plus_left的博客
10-31 3369
RNN中Embedding的一些理解一、RNN 循环神经网络1. 1循环核：1.2 循环核按时间步展开1.3循环计算层二、tf描述一个循环计算层2.1基本函数2.1进入RNN时，x_train的维度2.3循环计算过程三、Embedding编码代替独热码3.1思想：3.2代码实现：3.3参数理解感谢北京大学曹健老师的《tensorflow笔记》，收益良多，基本属于课上内容，搬砖至此，作为笔记。 一、RNN 循环神经网络 以实现连续数据预测为例，在这里先引入几个概念 1. 1循环核： 具有记忆力，通过不同时刻
Embedding和LSTM(5)
Alla
08-19 418
来源：北京大学Tensorflow2.0(B站搜)
Tensorflow2.0之影评文本情感分类 (embedding + LSTM)
denglinwu的专栏
09-11 983
%matplotlib inline import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np import pandas as pd import os import sys import time import sklearn import tensorflow as tf from tensorflow import keras print(tf.__version__) print(sys.versio
文本分类——Embedding、CNN、RNN练手
01-07
说明 本文是方法记录，不是完整的项目过程（在我Jupyter上，数据前期预处理部分懒得搬了），也没有调参追求准确度（家里电脑跑不动）。 参考任务来源于Kaggle，地址：电影评论情感分类 本文参考了不同的资料来源，包括斯坦福CS224N的课程资料，网上博客，Keras官方文档等 任务核心部分 1.单词表示 1.1 理论部分 对大部分（或者所有）NLP任务，第一步都应该是如何将单词表示成符合模型所需要的输入。最直接的思路就是将单词（符号）变为词向量。 词向量的表示方法： one-hot 编码：想法直接，但过于稀疏，且词与词之间正交，无法衡量词之间的相似度 基于矩阵分解的方法：比如不同词窗的矩阵，
python手动实现RNN、LSTM、GRU.zip
09-14
参考链接：https://blog.csdn.net/qq_37534947/article/details/110442147，包含手动是实现RNN、pytorch实现RNN、LSTM、GRU。
Python碳价格时间序列预测（RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn ）
09-22
本文采用欧盟碳排放交易体系下的欧盟碳排放配额(EUA)数据。 实验采用在2013年4月15日至2020年3月30日期间使用的相同大小的数据集，包括1797个样本。 前80% 的数据被选为训练集...RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码)
12-28
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) 使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) Feed forward Neural Network FFNN.ipynb Simple Moving Average SMA.ipynb ...
分别使用RNN_LSTM_GRU三种神经网络进行文本分类
11-19
使用RNN、LSTM、GRU三种神经网络模型进行文本分类，效果不错，附上详细代码及数据
RNN模型与NLP应用笔记(2)：文本处理与词嵌入详解及完整代码实现（Word Embedding）
weixin_45012204的博客
05-07 2125
RNN模型与NLP应用笔记(2)：文本处理与词嵌入及详细代码实现（Word Embedding） 【含各步骤详细记述及代码实现】
深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记（十二）——Embedding，LSTM，GRU
m0_58586235的博客
03-19 1173
Embedding，LSTM简介及如何实现股票预测，GRU简介及如何实现股票预测
NLP入门 - 基于Word Embedding + LSTM的古诗生成器
KGV093的博客
12-21 1225
一共实现三个功能： 1. 续写五言诗 2. 续写七言诗 3. 写五言藏头诗 之前用这个做Intro to Computer Science的期末项目折腾太久，不想赘述，内容介绍及实现方法可参考期末presentation的slides： https://docs.google.com/presentation/d/1DFy3VwAETeqK0QFsokeBpDwyVkMavOjpckQKpc6XPTI/edit#slide=id.gb037c6e317_2_312 训练数据来源： https:
将lstm替换成gru
05-11
将LSTM替换为GRU可以在循环神经网络（RNN）中减少一些计算成本，同时保留对序列数据的建模能力。GRU（门控循环单元）是一种简化版的LSTM，它只有两个门（更新门和重置门），而LSTM有三个门（输入门、输出门和遗忘门）。 在TensorFlow中，将LSTM替换为GRU只需要更改代码中的单元类型即可。下面是一个使用GRU的简单示例： ``` import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.Embedding(input_dim=vocab_size, output_dim=embedding_dim), tf.keras.layers.GRU(units=32), tf.keras.layers.Dense(units=output_dim, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) ``` 在上面的示例中，我们将LSTM替换为了GRU，只需要将`tf.keras.layers.LSTM`替换为`tf.keras.layers.GRU`即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值