nn.GRUCell过程思考

最新推荐文章于 2024-01-05 10:24:16 发布
最新推荐文章于 2024-01-05 10:24:16 发布
阅读量1k 收藏
点赞数
分类专栏： 强化学习 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42344960/article/details/127232995
版权
本文探讨PyTorch官方文档中的GRUCell，分析其数学公式，揭示内部结构。GRUCell包含input-hidden和hidden-hidden两部分，简化了LSTM的网络结构，通过update门控制长期和短期特征的学习，降低梯度消失问题。GRU是RNN的一种变体，理解GRU需要对RNN有基础认知。
摘要由CSDN通过智能技术生成

记录一下看pytorch官方文档的思考

首先是公式

 看起来像是在更新h，新的h等于n和旧h的组合，它们的组合系数是z；就像调酒，新h等于来z个旧h，剩下都是（1-z）个n；

在使用时先定义这个网络的大小，也就是输入特征的个数和隐藏状态的个数

然后调用的时候要送入输入特征x和隐藏状态h，这俩都是张量

所有的W都是参数，前三个公式每个公式有两个W

从这里可以看出，GRUCell的内部好像还有一层隐藏层，结构大致是input-hidden，hidden-hidden(output)。

第一个公式求r把输入乘权重+隐藏状态个数乘权重+两个偏移量，统一sigmoid激活一下；

第二个公式求z做法一致，就是各种参数变了

第三 个公式求n，用到r的结果，基本就是权重一乘再相加起来，tanh激活一下

第四个公式更新h，新h就是调酒组合

从公式看来我的理解是第二个公式相当于input-hidden，第三个公式是hidden-hidden;

至于这个GRUCell，就是GRU的单个单元；GRU算法出自

最低0.47元/天 解锁文章
wrsFrozen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Pytorch 学习（8）：Recurrent layers (循环层)实现之GRUCell
段智华的博客
09-18 9928
Pytorch 学习（8）：Recurrent layers (循环层)实现之GRUCell GRU是Gated Recurrent Unit，GRU是LSTM的一个变化形式。先看一个GRUCell的小例子 rnn = nn.GRUCell(10, 20) input = Variable(torch.randn(6, 3, 10)) hx = Variable(torch.randn(3,...
nn.GRU和nn.GRUCell区别
最新发布
qq_42256930的博客
06-04 690
nn.GRU是一个完整的GRU层,它接受一个3D输入张量(batch_size, seq_length, input_size),输出也是一个3D张量(batch_size, seq_length, hidden_size)。nn.GRUCell是GRU的单个单元,它接受一个2D输入张量(batch_size, input_size),输出也是一个2D张量(batch_size, hidden_size)。总的来说,nn.GRU更适合处理整个序列,而nn.GRUCell更适合需要灵活控制的场景。
GRU和GRUCell
sir_TI的博客
06-17 6208
GRU和GRUCell 最直观的图解 一、API 1.1 GRU 官方计算方式如下： rt=σ(Wirxt+bir+Whrh(t−1)+bhr)zt=σ(Wizxt+biz+Whzh(t−1)+bhz)nt=tanh⁡(Winxt+bin+rt∗(Whnh(t−1)+bhn))ht=(1−zt)∗nt+zt∗h(t−1) r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz}
torch.nn.GRUCell代码详解
qq_37150124的博客
11-11 5928
小白撸代码 import torch.nn as nn import torch from torch.autograd import Variable rnn = nn.GRUCell(10,20)#规定输入维度10 隐藏维度为20 #包含输入特征的Tensor #6大行矩阵，没大行为3行10列 10是GRUCell的10 input = Variable(torch.randn(6,3,10)) #保存着batch中每个元素的初始化隐状态的Tensor #隐藏层为3行20列；3要和input中的3保
pytorch笔记 GRUCELL
qq_40206371的博客
11-01 2086
GRU的一个单元。
Pytorch实现RNN，LSTM和GRU超详细代码参数解析
adczsw的博客
12-04 5873
本文针对使用pytorch实现RNN，LSTM和GRU对应参数的详细解析，相信通过阅读此文章，能够让你对循环神经网络有一个很清楚的认识。也希望你能耐心看完，相信会对你有很大的帮助。大佬直接跳过。这篇文章分析的会特别基础。 Pytorch官网提供的循环脑神经网络总共7个函数，nn.RNN、nn.LSTM、nn.GRU可以实现多层的循环神经网络，而nn.RNNCell、nn.LSTMCell、nn.GRUCell只提供一个网络层。 官网：LSTM — PyTorch 1.10.0 documentati
Tensorflow 代码学习（1）-GRUCell
yychenxie21的专栏
11-04 1万+
1 #-*- coding: utf-8 -*- from __future__ import absolute_import from __future__ import division from tensorflow.python.ops.math_ops import tanh from tensorflow.python.ops.math_ops import sigmoid from
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。 首先，`nn.Sequential`是一个序列化的模块集合，它允许你...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型...无论是简单的线性层还是复杂的自定义模块，`nn.Parameter()`都是连接模型结构和优化过程的关键桥梁。
pytorch中nn.Conv1d的用法详解
09-18
在PyTorch中，`nn.Conv1d`是用于一维卷积操作的模块，它在处理序列数据，如音频信号、时间序列分析或者文本数据时非常有用。本篇文章将详细解析`nn.Conv1d`的用法及其在实际代码中的应用。 一、`nn.Conv1d`的基本...
ConvGRUCell-pytorch:PyTorch中的卷积GRU单元
05-06
转化GRU PyTorch 用于PyTorch的卷积GRU。 参考
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
mindspore.nn.cell.txt
11-22
mindspore.nn.cell.txt
门控循环单元GRUCell详解及反向传播的梯度求导
BrightLamp的博客
12-19 2996
摘要 本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度. 给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证. 相关 配套代码, 请参考文章 : 纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播 Affine 变换的定义和梯度, 请参考文章 : affine/linear(仿射/线性)变换函数详解及全连...
tensorflow学习之GRUCell详解
热门推荐
大雄没有叮当猫的博客
09-23 1万+
  tf.contrib.rnn.GRUCell Aliases: Class tf.contrib.rnn.GRUCell Class tf.nn.rnn_cell.GRUCell 门控循环单元cell __init__(     num_units,     activation=None,     reuse=None,     kernel_initializer=No...
深度学习——基于Numpy实现GRUCell和GRU
hei653779919的博客
02-06 1623
深度学习——基于Numpy实现GRUCell和GRU 原理文章链接：深度学习——循环神经网络GRU公式推导 1. GRUCell单元构建 #encoding=utf-8 import numpy as np def sigmoid(x): return 1/(1+np.exp(-x)) def tanh(x): return (np.exp(x)-np.exp(-x))/(np.e...
简单易懂深入PyTorch中RNN、LSTM和GRU使用和理解
CDBmax的博客
01-05 2093
RNNBaseRNNLSTMGRU及其对应的单元格版本RNNCellLSTMCellGRUCell。每个类的功能、作用、参数和使用方法都得到了详细的解释和示例代码的支持。从基础的 RNN 架构到更复杂的 LSTM 和 GRU 结构，本文提供了深入了解这些强大的序列模型工具的机会，同时也展示了如何在实际场景中应用这些模型。这些类不仅对于理解序列数据的基本动态至关重要，而且在许多先进的深度学习应用中发挥着核心作用。
pytorch 实现gru_利用PyTorch实现GRU网络的三个层次
weixin_39589511的博客
12-19 4720
这篇文章将简单地介绍通过PyTorch框架实现单向单隐层GRU网络的三种方法。通过GRU层实现通过PyTorch提供的集成好的GRU层进行实现，简单快捷，但丧失了一些灵活性。class GRUModel(nn.Module):def __init__(self, input_num, hidden_num, output_num):super(GRUModel, self).__init__()s...
tf.nn.rnn_cell.grucell
04-11
'b'tf.nn.rnn_cell.grucell'' 是 TensorFlow 中的 GRU 单元。GRU 是递归神经网络中的一种类型，用于处理序列数据。GRU 单元是循环神经网络的一种形式，其中具有门控功能的神经元通过控制信息流并决定哪些信息应该被...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值