rnn、lstm，gru中output信息说明

最新推荐文章于 2023-06-04 15:02:21 发布
最新推荐文章于 2023-06-04 15:02:21 发布
阅读量1k 收藏 1
点赞数
分类专栏： python编程 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoyexuge/article/details/78753493
版权

在一般的rnn模型中，rnn一般输出的形式如下[batch,seq_len,hidden_size],如果用做分类，一般是取最后一个状态[batch,hidden_size]，如果用于做词性标注和分词则取全部的状态[batch,seq_len,hidden_size]，下面介绍下用于文本分类取最后状态的两种方法，一种是直接transpose，取[-1]最后一个状态，大小变为[batch,hidden_size]，另外一个是直接[:,-1,:]把中间的seq_len删除，直接变成[batch,hidden_size]，直接看代码:

   
   
  1. In [2]: import tensorflow as tf
  3. In [3]: output=tf.get_variable(name='out',shape=[10,30,128])
  5. In [4]: output.get_shape()
  6. Out[4]: TensorShape([Dimension(10), Dimension(30), Dimension(128)])
  9. In [7]: output_trans = tf.transpose(output, [1, 0, 2])
  11. In [8]: output_trans.get_shape()
  12. Out[8]: TensorShape([Dimension(30), Dimension(10), Dimension(128)])
  14. In [9]: output_trans[-1].get_shape()
  15. Out[9]: TensorShape([Dimension(10), Dimension(128)])
  17. In [10]: output[:,-1,:].get_shape()
  18. Out[10]: TensorShape([Dimension(10), Dimension(128)])
旭旭_哥
关注
专栏目录
RNN,GRU和LSTM模型比较
qq_35896136的博客
02-23 2261
文中图片来源：吴恩达老师的深度学习视频 视频链接：https://www.bilibili.com/video/av49445369?p=152 对于标准的RNN来说，它是利用前一时刻的隐藏单元和该时刻的输入一起学习，但是当小序列的相关信息相隔较长时，普通RNN常常不能学习的很好。举个例子，（1）如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个...
RNN LSTM GRU介绍
舟
01-12 1093
RNN 在实际应用中，我们会遇到很多序列形的数据 为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。 每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程...
LSTM/GRU中output和hidden的区别//其他问题
fangting的博客
12-08 4715
Outputs: output, (h_n, c_n)   output (seq_len, batch, hidden_size * num_directions): tensor containing the output features (h_t) from the last layer of the RNN, for each t. If a torch.nn.utils.rnn....
tensorflow：rnn中的output和state
qq_25987491的博客
06-22 3909
原文： https://xdrush.github.io/2018/02/12/RNN%E5%8E%9F%E7%90%86%E8%AF%A6%E8%A7%A3%E4%BB%A5%E5%8F%8Atensorflow%E4%B8%AD%E7%9A%84RNN%E5%AE%9E%E7%8E%B0/   关于output和state 个人认为，RNN最难理解的地方之一就是output和state...
GRU-门控循环单元
最新发布
JM的博客
06-04 481
GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。
torch.nn.GRU的输入及输出示例
jiuweideqixu的博客
11-04 2万+
我们有时会看到GRU中输入的参数有时是一个，但是有时又有两个。这难免会让人们感到疑惑，那么这些参数到底是什么呢。 一、输入到GRU的参数 输入的参数有两个，分别是input和h_0。 Inputs: input, h_0 ①input的shape The shape of input:(seq_len, batch, input_size) : tensor containing the feature of the input sequence. The input can also be a packe
tensorflow学习笔记（六）：LSTM 与 GRU
Keith
10-21 5万+
[10.26.2016 更新] [新增内容：今天写代码的时候，如果使用state_is_tuple=True, 那么 initial_state = lstm_cell.zero_state(batch_size, dtype=tf.float32) ... with tf.Session() as sess: tf.initialize_all_variables().run(...
class6_LSTM_pythonLSTM_python实现的LSTM长短时记忆网络_RNN_gru_
10-03
在本文中，我们将深入探讨标题和描述中提及的“class6_LSTM_pythonLSTM_python实现的LSTM长短时记忆网络_RNN_gru”，这显然与深度学习中的序列模型相关，特别是LSTM（长短时记忆网络）和GRU（门控循环单元）。...
自然语言处理常用RNN、LSTM、GRU举例详解，通俗易懂
weixin_43162364的博客
06-27 2521
之前疫情网民情绪识别的模型用到了LSTM，最近面试被问到具体细节，感觉被拎出来羞辱，经过认（cha）真（yue）思（wen）考（xian），总结了一下RNN、LSTM、GRN的一些知识。为了更加易懂，本文会采用疫情网民情绪识别这篇文章里的例子。 RNN详解 说到LSTM，还是要先从RNN（循环神经网络）开始描述，算是LSTM的基础。RNN经典的模型分解可以用如下图片解释，这也是我在大部分文章中看到的解释，感兴趣的可以到RNN详解这篇文章中看看。 左侧部分，x、s、o都是向量，分别表示输入层、隐藏层和输出层
RNN、LSTM、GRU、多层LSTM、Bi-LSTM
红豆的博客
03-16 6465
有些时候，主要考虑的是哪些输入，有时候，考虑的是（输入，输出）之间的模型； 一、RNN f,g 就是普通的激活函数，可能是tanh； 二、LSTM 此时，Ht~f(Xt, Ct-1, ht-1) 在这里引入了一个新的变量Ct-1，它是什么意思呢？ 这里的f如何确定呢 三、多层RNN/LSTM 多层RNN中，第一层的输入是Ht1~ (Xt, Ht-1)，后面层的输入不再...
循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用
IT之一小佬的博客
04-02 2023
循环神经网络实现文本情感分类 1. Pytorch中LSTM和GRU模块使用 1.1 LSTM介绍 LSTM和GRU都是由torch.nn提供 通过观察文档，可知LSTM的参数， torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout,bidirectional) input_size：输入数据的形状，即embedding_dim hidden_size：隐藏层神经元的数量，即每一层有多少个LSTM单元
LSTM 和GRU的区别
热门推荐
Adrianna的专栏
08-31 6万+
Reference： https://cs224d.stanford.edu/lecture_notes/LectureNotes4.pdf Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling https://feature.engineering/difference-between-lstm-a
[PyTorch] RNN, LSTM, GRU中输入输出维度
sophicchen的专栏
08-14 6555
本文中的RNN泛指LSTM，GRU等等CNN和RNN中batch_size的默认位置是不同的。 CNN中：batch_size的位置是position 0. RNN中：batch_size的位置是position 1. 1. 在RNN中输入数据格式： 对于最简单的RNN，我们可以使用两种方式来调用torch.nn.RNNCell()。它只接受序列中的单步输入，必须显式的传入隐藏状态。torch.nn.RNN()可以接受一个序列的输入，默认会传入一个全0的隐藏状态，也可以自己申明隐藏状态传入。 1..
BiLSTM+Attention代码实现（pytorch）
weixin_47915380的博客
04-05 3240
import torch import torch.nn as nn class BiLSTM_Attention(nn.Module): def __init__(self): super(BiLSTM_Attention, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.lstm = nn.LSTM(embedding_dim, n_h...
【机器学习】详解 RNN
闻韶
07-08 4597
【机器学习】详解 RNN
学会区分 RNN 的 output 和 state
ZHOU的博客
03-28 984
本文转至https://zhuanlan.zhihu.com/p/28919765调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入和输出是什么。一个简单的...
Pytorch学习1-GRU使用和参数说明
yanqianglifei的专栏
12-22 4773
Pytorch学习1-GRU使用和参数说明
rnn-手写数字识别-网络结构-shape
weixin_30306905的博客
03-14 556
手写数字识别经典案例，目标是： 1. 掌握tf编写RNN的方法 2.剖析RNN网络结构 tensorflow编程 #coding:utf-8 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data ### 注意 # init_state = ...
RNN神经网络层的输出格式和形状
/dev/null
05-05 851
tf.keras.layers.RNN( cell, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False, time_major=False, **kwargs ) RNN的输出非常tricky，官方文档要细读。 If return_state: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值