自己动手实现深度学习框架-7 RNN层--GRU, LSTM

最新推荐文章于 2024-08-26 13:15:40 发布
最新推荐文章于 2024-08-26 13:15:40 发布
阅读量873 收藏 12
点赞数
分类专栏： AI 深度学习 框架 文章标签： AI 深度学习 RNN LSTM GRU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39818173/article/details/106620231
版权
本文介绍了如何在深度学习框架中实现RNN、GRU和LSTM层，详细讲解了各个门控单元的工作原理，并通过代码实现展示了正余弦叠加函数的拟合过程，验证了GRU和LSTM模型的有效性。
摘要由CSDN通过智能技术生成

代码仓库: https://github.com/brandonlyg/cute-dl

目标

        这个阶段会给cute-dl添加循环层，使之能够支持RNN–循环神经网络. 具体目标包括:

  1. 添加激活函数sigmoid, tanh.
  2. 添加GRU(Gate Recurrent Unit)实现.
  3. 添加LSTM(Long Short-term Memory)实现.
  4. 使用基于GRU和LSTM的RNN模型拟合一个正余弦叠加函数.

RNN原理

原始的RNN

        RNN模型用来捕捉序列数据的特征. 给定一个长度为T的输入系列 X = ( x 1 , x 2 , . . , X T ) X=(x_1, x_2, .., X_T) X=(x1​,x2​,..,XT​), RNN层输出一个长度为T的序列 H = ( h 1 , h 2 , . . . , H T ) H=(h_1, h_2, ..., H_T) H=(h1​,h2​,...,HT​), 对于任意时间步t, 可以表示为:
H t = δ ( X t W x + H t − 1 W h + b ) , t = 2 , 3 , . . , T H_t = δ(X_tW_x + H_{t-1}W_h + b), \quad t = 2, 3, .., T Ht​=δ(Xt​Wx​+Ht−1​Wh​+b),t=2,3,..,T
        函数δ是sigmoid函数:
δ = 1 1 + e − x δ = \frac{1}{1 + e^{-x}} δ=1+e−x1​
        H t H_t Ht​包含了前面第1到t-1步的所有信息。 和CNN层类似, CNN层在空间上共享参数， RNN层在时间步上共享参数 W x , W h , b W_x, W_h, b Wx​,Wh​,b.

        RNN层中隐藏层的数量为T-2, 如果T较大(超过10), 反向传播是很容易出现梯度爆炸. GRU和LSTM就是为了解决这个问题而诞生, 这两种模型，可以让RNN能够支持长度超过1000的输入序列。

GRU

        GRU使用了不同功能的门控单元, 分别捕捉序列上不同时间跨度的的依赖关系。每个门控单元都会都有独立的参数, 这些参数在时间步上共享。

        GRU的门控单元有:

        R t = δ ( X t W x r + H t − 1 W h r + b r ) R_t = δ(X_tW^r_x + H_{t-1}W^r_h + b^r) Rt​=δ(Xt​Wxr​+Ht−1​Whr​+br), 重置门用于捕捉短期依赖关系.

        U t = δ ( X t W x u + H t − 1 W h u + b u ) U_t = δ(X_tW^u_x + H_{t-1}W^u_h + b^u) U

最低0.47元/天 解锁文章
自带buff
关注
专栏目录
rnn简单实现
qq_42586738的博客
07-26 588
输入hello目标输出ohlol 定义一些数据 import torch import numpy batch_size=1 num_layers=1#一层rnn input_size=4 hidden_size=4 seq_len=5 进行数据准备 idx2char=['e','h','l','o'] x_data=[1,0,2,2,3] y_data=[3,1,2,3,2] #查询字典 one_hot_lookup=[[1,0,0,0], [0,1,0,0],
RNN（recurrent neural network）（二）——动手实现一个RNN
天泽28的专栏
02-12 3149
RNN（recurrent neural network）（二）——动手实现一个RNN RNN系列博客： RNN（recurrent neural network）（一）——基础知识 RNN（recurrent neural network）（二）——动手实现一个RNN      &amp
rnn-手动实现
最新发布
qq_42645279的博客
08-26 313
【代码】rnn-手动实现。
笔记-自己使用pytorch实现的GRU
qq_32339317的博客
07-22 1281
import torch import Config import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset import pickle import numpy as np from sklearn import metrics import math batch_size = 256 # 一批数据有多少条 input_size = 63 # 输入的维度 hidden_size = 32 # GRU.
自己编写深度学习框架ANNbox【高仿tensorflow】__05循环神经网络编写:实现RNN(01)
drilistbox的博客
08-07 919
文章列表 1.自己编写神经网络库ANNbox【高仿tensorflow】__01实现全连接. 2.自己编写神经网络库ANNbox【高仿tensorflow】__02实现不同的优化方法. 3.自己编写神经网络库ANNbox【高仿tensorflow】__03文本情感分析. 4.自己编写神经网络库ANNbox【高仿tensorflow】__04卷积神经网络编写:实现AlexNet. 5.自己...
自己动手写RNN
11-07 235
说的再好，也不如实际行动，今天手写了一个RNN，没有使用Numpy库，自己写的矩阵运算方法，由于这也只是个学习用的demo，所以矩阵运算那一部分写的比较丑陋，见笑了。 import com.mylearn.hw.Process as pr class RNN(object): def __init__(self , input_dim , hidden_dim , output...
ny-stock-price-prediction-rnn-lstm-gru.rar
06-20
标题中的“ny-stock-price-prediction-rnn-lstm-gru.rar”表明这是一个关于纽约股票价格预测的项目，其中使用了循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）这三种深度学习模型。在金融领域，...
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
pso-gru-lstm：PSO优化GRU-LSTM超参数
02-19
本文主要讲解：使用PSO优化GRU-LSTM超参数，神经元个数、学习率、dropout和batch_size 主要思路： 建立GRU-LSTM模型 定义PSO的参数：最大迭代次数、最大惯性权重、最小惯性权重、粒子数量、所有粒子的位置和速度、...
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用
06-25
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用，本文将向大家介绍一种基于LSTM-GRU的糖尿病预测模型，包括模型的原理、中文糖尿病csv数据样例、利用PyTorch框架进行模型训练与预测的实现、以及训练...
python手动实现RNN、LSTM、GRU.zip
09-14
参考链接：https://blog.csdn.net/qq_37534947/article/details/110442147，包含手动是实现RNN、pytorch实现RNN、LSTM、GRU。
RNN实现源码
04-29
RNN的实现源码
【动手学习pytorch笔记】23.RNN简易实现
ymk1998的博客
04-10 459
RNN简易实现 import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) 一样的加载 train_iter，vocab num_hiddens = 256 rn
李沐动手学深度学习V2-GRU门控循环单元以及代码实现
flyingluohaipeng的博客
06-29 1790
我们可能会遇到这样的情况： 1）早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在序列的末尾辨别校验和是否正确。 在这种情况下，第一个词元的影响至关重要，我们希望有某些机制能够在一个记忆元里存储重要的早期信息， 如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度， 因为它会影响所有后续的观测值。 2) 一些词元没有相关的观测值。 例如在对网页内容进行情感分析时， 可能有一些辅助HTML代码与网页传达的情绪无关，希望有一些机制来跳过隐
pytorch 手写GRU
一位浪漫的极客
07-04 2298
刚开始想直接 https://discuss.pytorch.org/t/where-to-find-torch-c-variablefunctions-module/41305/5 https://github.com/pytorch/pytorch/blob/master/aten/src/ATen/native/RNN.cpp
实现一个真实的动态RNN
UESTC_201722的博客
12-28 888
提示 如果代码中出现了你不懂的接口，请翻看本人博客分类中名为 “tensorflow学习”的类目中，本人肯定一定有的，这里就列取出了主要的两个接口说明，其他如果不懂的，请自己去找哈 tf.nn.dynamic_rnn详解 tf.gather,tf.range的详解 代码 代码来自这里，我对进行了一些接口的提升，改进 #!/usr/bin/env python # coding: utf-8 fro...
RNN实现
m0_48148247的博客
10-27 417
RNN从零开始实现+基于Pytorch简洁实现
手写递归神经网络–手把手教你写一个RNN
qq_33472146的博客
06-03 1411
总结： 我总是从迷你程序中学到很多。这个教程用python写了一个很简单迷你程序讲解递归神经网络。 递归神经网络即RNN和一般神经网络有什么不同？出门左转我们一篇博客已经讲过了传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类，但是RNN确有一定记忆功能。废话少说，上图： layer_0就是输入层，layer_1就是隐层，layer_2就是输出层。什么叫隐层呢？顾名思义，隐层就是隐藏...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值