对RNN中Output与State的区分

最新推荐文章于 2023-02-22 15:32:58 发布
最新推荐文章于 2023-02-22 15:32:58 发布
阅读量595 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_38971290/article/details/99691788
版权
本文旨在澄清在RNN，特别是LSTM模型中Output与State的区别。基础RNN的Output通过全连接层从State生成，而在Tensorflow的BasicRNN中，Output是所有state的集合，最后一个Output等于finalState。LSTM的State由Ct和ht组成，而Output仅依赖于ht。如果不添加全连接层，LSTM的output[-1]与finalState的部分内容相同。
摘要由CSDN通过智能技术生成

对RNN中Output与State的区分

之所以写这篇文章，主要是在之前实现Seq2Seq模型时发现了一些问题，在这方面有着一些混淆，主要是对LSTM的理解不够

基础RNN的结构，每一个RNN单元实现的功能是
(插不来图，请自找。。。。)
S t = f ( S t − 1 , x t ) S_t = f(S_{t-1},x_t) St​=f(St−1​,xt​)
那么 O t O_t O

最低0.47元/天 解锁文章
baidu_38971290
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
龙心尘
07-18 1万+
本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表
RNN 的 output 和 state 的区别
ziigea的博客
05-14 577
RNN 的 output 和 state 的区别问题记录简单RNNLSTM 问题记录 学习模型验证，要提取RNN的隐藏状态的时候遇到了一个难题，就是RNN的output 和 state 的区别。也就是说，model.predict()输出的是不是我想要的s呢 简单RNN 最简单的RNN单元，它每次接受一个当前输入 x_t 和前一步的隐层状态 s_{t-1}，然后产生一个新的隐层状态 s_t，也即：s_t = f(x_t, s_{t-1})，其中 f 代表某个函数，对应于 RNN 内部的运算过程。 这种情
学会区分 RNN 的 output 和 state
ZHOU的博客
03-28 961
本文转至https://zhuanlan.zhihu.com/p/28919765调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入和输出是什么。一个简单的...
tensorflow：rnn中的output和state
一新新的小白的博客
04-17 5156
原文： https://xdrush.github.io/2018/02/12/RNN%E5%8E%9F%E7%90%86%E8%AF%A6%E8%A7%A3%E4%BB%A5%E5%8F%8Atensorflow%E4%B8%AD%E7%9A%84RNN%E5%AE%9E%E7%8E%B0...
RNN原理及输入输出
m0_68041978的博客
10-24 4794
循环神经网络（Recurrent Neural Neural Networks, RNN),是一种反馈网络。它可以有效处理序列特性的数据，能够挖掘数据中的时序信息以及语义信息。常用于语言识别、机器翻译、视频分析、生成图像描述的等。RNN主要用于时序类数据的处理，在文档分类、机器翻译、文本情感分析、文本预测等有着重要作用。
TensorFlow中RNN网络的实现和关键参数选择
王尧的技术博客
05-06 3148
主旨TensorFlow提供了方便的API用于快速搭建和实现RNN网络。但是在实际工作中，这些API的关键参数选择令人迷惑，在没有时间详细阅读Tensorflow引用论文和源代码的条件下，仅仅靠网络上找到的样例代码决定某些参数的选择是危险且低效的。为了解决这个问题，同时不陷入过于复杂的论文和TensorFlow源代码分析，本文通过受控实验的方式，设计出一个虽然简单但是能反映出RNN基本规律的训练和测
神经翻译笔记4扩展a第一部分. RNN在TF1.x中的实现方法略览
Timson的NLP笔记本
02-08 422
神经翻译笔记4扩展a. RNN在深度学习框架中的实现方法略览TF对RNN的实现TF1.x中对RNN的实现RNN cell的实现`keras.engine.base_layer.Layer`的实现 TF对RNN的实现 TF1.x中对RNN的实现 本小节主要讨论TF1.14对RNN的实现。考虑到更老的版本实现可能有差别，且有些过时，因此这里略过。另外，本文主要讨论tf.nn中各RNN cell和网络结...
学会区分RNN的output和state
湛蓝的天空
12-19 849
写这篇文章的起因是，有人问调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？ 其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入和输出是什么。一个简单的回答是，对于一个 RNN 单元，它每次接受一个当前输...
rnn参数 input_size,hidden_size,output_size,time_step，num_layers
最新发布
weixin_43468880的博客
02-22 1145
从网上看到了这个图，就清晰多了， 绿色的圈圈就是input_size，也就是词向量的维度。（这里其实不太对 ，因为要分词，显然湖人是个名字，所以湖人应该是连在一起的）。output_size和hidden_size是没有关系的，但是和hidden有关系，在hidden里做了降维提取特征这个手段。图中有4个小图片，就是4个time_step, (!很多人会把time_step和hidden_size混淆 其实不对)。这个图其实对于初学者挺好理解的，但是一但较真了，发现有很多说不通的地方。
TensorFlow中RNN实现的正确打开方式
周红伟讲AI
09-05 1万+
上周写的文章《完全图解RNN、RNN变体、Seq2Seq、Attention机制》介绍了一下RNN的几种结构，今天就来聊一聊如何在TensorFlow中实现这些结构，这篇文章的主要内容为： 一个完整的、循序渐进的学习TensorFlow中RNN实现的方法。这个学习路径的曲线较为平缓，应该可以减少不少学习精力，帮助大家少走弯路。 一些可能会踩的坑
tf.nn.dynamic_rnn的输出outputs和state含义
u010960155的博客
08-15 2万+
一、 tf.nn.dynamic_rnn的输出 tf.nn.dynamic_rnn的输入参数如下 tf.nn.dynamic_rnn(     cell,     inputs,     sequence_length=None,     initial_state=None,     dtype=None,     parallel_iterations=None,     swap_me...
解读tensorflow之rnn
热门推荐
slamer的专栏
09-02 9万+
from: http://lan2720.github.io/2016/07/16/%E8%A7%A3%E8%AF%BBtensorflow%E4%B9%8Brnn/ 这两天想搞清楚用tensorflow来实现rnn/lstm如何做，但是google了半天，发现tf在rnn方面的实现代码或者教程都太少了，仅有的几个教程讲的又过于简单。没办法，只能亲自动手一步步研究官方给出的代码了。 本文研
tensorflow常用RNN函数
littlely_ll的博客
03-23 2334
tensorlfow常用RNN函数 tf.nn.rnn_cell.BasicLSTMCell： __init__( num_units, forget_bias=1.0, state_is_tuple=True, activation=None, reuse=None, name=None ) num_units:in...
TensorFlow中RNN样例代码详解
为之则易，不为则难
11-28 2万+
关于RNN的理论部分已经在上一篇文章中讲过了，本文主要讲解RNN在TensorFlow中的实现。与theano不同，TensorFlow在一个更加抽象的层次上实现了RNN单元，所以调用tensorflow的API来实现RNN是比较容易的。这里先介绍TensorFlow中与RNN相关的几个比较常用的函数，　　(1)cell = tf.nn.rnn_cell.BasicLSTMCell(num_unit
RNN参数详解+实例分析
weixin_41391619的博客
04-01 4168
import torch from torch import nn import numpy as np from torch import optim rnn = nn.RNN(input_size=100,hidden_size=10,num_layers=2) #初始化一个RNN网络 # input_size 是一个单词或者汉字的size，比如你embedding的时候，一个单词用一个10...
Theano在RNN中的应用与优化
此外，还提到了RNN在网络中的应用示例，并在最后提出了几个与Theano RNN相关的讨论问题，包括如何利用GPU加速、双向RNN的实现以及批量序列处理等。" 在深入理解Theano中的RNN之前，我们需要先了解RNN的基本原理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值