pytorch lstm 什么时候使用output(输出层)，什么时候使用h(隐藏层)

已于 2022-08-23 22:29:44 修改
阅读量5.2k 收藏 70
点赞数 25
分类专栏： pytorch 文章标签： lstm pytorch 深度学习
于 2022-05-26 13:55:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49030008/article/details/124980055
版权

看这篇文章之前你应该已经对lstm有所了解。
这里只讲pytorch的lstm的输出，其实所有rnn网络都一样。

目录

单向lstm

1层lstm单元

这里假设输入的batch_size为8，
句子长度为10，
词向量维度为128，
lstm的隐藏层维度为50，
只有1层lstm单元。

batch_size = 8        #batch为8
seq_len = 10          #句子长度为10
embedding_size = 128  #词向量维度为128

x = torch.rand((batch_size,seq_len,embedding_size))

input_size = embedding_size  #对于lstm的输入，每个词的维度就是词向量维度
hidden_size = 50
num_layers=1

lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=False)

output,(h,c) = lstm(x)

print('output.shape = ',output.shape)
print('h.shape = ',h.shape)

输出为：

output.shape =  torch.Size([8, 10, 50])
h.shape =  torch.Size([1, 8, 50])

可以这么理解，这里的output是包含的是每个单词的信息（每个句子10个单词，每个单词的信息维度都是50）。
需要注意的是，lstm在传播的时候因为考虑了时序信息，也就是说这里output中每个单词的信息都是在考虑了之前所有单词信息（也就是上文信息）之后的产生的信息。

简单画个图就是这样了(对于单个句子)
在这里插入图片描述

print(torch.all(output[:,-1,:] == h[0]).item())

输出为：

True

这里就是说明隐藏层的信息h就是每个句子最后一个单词信息。 根据我们刚刚说过的，output中每个单词的信息都是在考虑了之前所有单词信息（也就是上文信息）之后的产生的信息。 所以 `h[0]= output[:,-1,:] (h是三维，取h[0]就是二维了)`就是蕴含了整个句子信息的结果。

2层lstm单元

代码与上面相同，只是lstm单元变为2层。

batch_size = 8
seq_len = 10
embedding_size = 128

x = torch.rand((batch_size,seq_len,embedding_size))

input_size = embedding_size  #对于输入，每个词的维度就是词向量维度
hidden_size = 50
num_layers=2

lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=False)

output,(h,c) = lstm(x)

print('output.shape = ',output.shape)
print('h.shape = ',h.shape)

输出为：

output.shape =  torch.Size([8, 10, 50])
h.shape =  torch.Size([2, 8, 50])

print(torch.all(output[:,-1,:] == h[0]).item())
print(torch.all(output[:,-1,:] == h[1]).item())

输出为：

False
True

简单画个图就是这样(对于单个句子)
在这里插入图片描述

可以看到输出层output其实和单层的lstm没区别，只是两层lstm可以用更多的全连接层来使得信息更加准确。
而h[0]和h[1]只是两个隐藏层，它们都蕴含了整个句子的信息，只是学习到的信息会有所不同。


双向lstm

1层lstm单元

这里假设输入的batch_size为8，
句子长度为10，
词向量维度为128，
lstm的隐藏层维度为50，
只有1层lstm单元。

batch_size = 8
seq_len = 10
embedding_size = 128

x = torch.rand((batch_size,seq_len,embedding_size))

input_size = embedding_size  #对于输入，每个词的维度就是词向量维度
hidden_size = 50
num_layers=1

lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True)

output,(h,c) = lstm(x)

print('output.shape = ',output.shape)
print('h.shape = ',h.shape)

输出为：

output.shape =  torch.Size([8, 10, 100])
h.shape =  torch.Size([2, 8, 50])

简单画个图就是这样了(对于单个句子)
在这里插入图片描述

print(torch.all(output[:,-1,:hidden_size]==h[0]).item())
print(torch.all(output[:,0,hidden_size:]==h[1]).item())

输出为：

True
True

可以看到，output就是每个单词在正向lstm中的信息和反向lstm中的信息concatenate得到的。
h[0]就是正向lstm得到的整个句子的信息。
h[1]就是反向lstm得到的整个句子的信息。

再提一嘴，这里正向lstm和反向lstm的参数是各自更新的，它们不是权值共享的，可以看下面的代码。

for i in range(len(lstm.all_weights[0])):
    if torch.any(lstm.all_weights[0][i]!=lstm.all_weights[1][i]):
        print(False)

False
False
False
False

2层lstm单元

2层的双向lstm和之前的同理，只是多了2个正向隐藏层和反向隐藏层。

batch_size = 8
seq_len = 10
embedding_size = 128

x = torch.rand((batch_size,seq_len,embedding_size))

input_size = embedding_size  #对于输入，每个词的维度就是词向量维度
hidden_size = 50
num_layers=2

lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True)

output,(h,c) = lstm(x)

print('output.shape = ',output.shape)
print('h.shape = ',h.shape)

输出为：

output.shape =  torch.Size([8, 10, 100])
h.shape =  torch.Size([4, 8, 50])

print(torch.all(output[:,-1,:hidden_size]==h[2]).item())
print(torch.all(output[:,0,hidden_size:]==h[3]).item())

输出为：

True
True

画图就是
在这里插入图片描述

对于多层的lstm，其实就是一层一层的处理，后一层的输入为前一层的输出，比如这里的2层lstm，其实就是首先对于画框的部分进行单层lstm的处理，得到输出向量，然后作为第二层lstm的输入继续计算。

通过这个代码：

for i in range(len(lstm.all_weights)):
    for w in lstm.all_weights[i][:2]:
        print(w.shape)

torch.Size([200, 128])
torch.Size([200, 50])
torch.Size([200, 128])
torch.Size([200, 50])
torch.Size([200, 100])
torch.Size([200, 50])
torch.Size([200, 100])
torch.Size([200, 50])

我们可以看到torch.Size([200, 100])，这其实就是第一层的输出(维度50)cat之后作为第二层的输入而导致的权重矩阵。(200是4*hidden_size,表示的(W_hi|W_hf|W_hg|W_ho)4个权重矩阵)

什么时候用输出层output信息

以双向lstm为例，
我们知道了output其实是每个单词的信息，只不过这些单词因为双向lstm的原因所以考虑了上下文所有的信息(如果是单向lstm，就是只考虑了上文信息)。
所以我们如果要做命名实体识别这样对一个句子中每个单词的词性进行分类的问题，就需要使用输出层output信息。

什么时候用隐藏层信息

以双向lstm为例，
我们知道了隐藏层其实是整个句子的信息，双向lstm同时得到了正向读句子时的信息结果和反向读句子时的信息结果。
所以如果我们要做语句的情感分类这样对整个句子的信息进行分类的结果，那我们只需要将这两个信息结果进行concatenate然后送入到线性层中去分类就好了。一般都是用h[-2]（正向传播得到最深的那一个隐藏层结果），h[-1]（反向传播得到最深的那一个隐藏层结果）。

后话

其实所有的RNN网络都是这样，比如Transformer和Bert的encoder部分就是多个encoder叠加在一起，说白了就是对一个句子的隐藏层编码再编码，那我们其实只需要最后一层的隐藏层就够了。

不过一般的做法都是将第一个隐藏层的结果和最后一个隐藏层的结果进行求和或者平均池化的操作后得到的结果来作为整个句子的嵌入向量。这样就是借助残差网络的思想，可以避免信息在过深的网络中传播时导致的信息丢失问题。

基于pytorch使用LSTM进行文本情感分析
CSDN 精品推荐
10-04 8706
下载链接项目中使用的模型是LSTM，在模型中我们定义了三个组件，分别是embedding层，lstm层和全连接层。Embedding层：将每个词生成对应的嵌入向量，就是利用一个连续型向量来表示每个词Lstm层：提取语句中的语义信息Linear层：将结果映射成2大小用于二分类，即正反面的概率注意：在LSTM网络中返回的值为最后一个时间片的输出，而不是将整个output全部输出，因为我们是需要捕捉整个语句的语义信息，并不是获得特定时间片的数据。
一张图介绍LSTM整个网络的输入、词表征、隐藏层的运算、LSTM的输出（详细介绍整个网络的结构）
weixin_52796022的博客
03-02 929
一张图介绍LSTM的结构，介绍什么是隐藏层、隐藏状态、LSTM中的Cell细胞状态，输出层。包括介绍torch.nn.lstm的输入输出
LSTM 隐藏层维度和输入维度的问题
weixin_42856002的博客
08-11 1万+
报错如下：ValueError: Dimensions must be equal, but are 1024 and 1536 for 'lstm_1to15/lstm_cell/MatMul_1' (op: 'MatMul') with input shapes: [1,1024], [1536,2048]. 我要实现的是 第一个LSTM单元输入（1，1024），输出（1，512）. 第二个L...
传统neural network隐藏层神经元和lstm网络的隐藏层神经元
最新发布
weixin_52796022的博客
09-23 269
这些部分共同作用来控制信息的存储、更新和输出。普通神经网络（比如前馈神经网络）的隐藏层的神经元非常简单，主要工作就是接受输入，然后通过激活函数产生输出。📡每输入一个时间步的数据，会经过整个lstm层中的多个lstm单元，而不是经过一个lstm单元。神经元的计算流程：输入值经过加权求和，接着通过激活函数，再输出到下一层。如果包含 128 个单元，那它就包含 128 个。lstm网络中的隐藏层可以理解为一种特殊的神经元。，这些特殊的神经元就是 LSTM 单元。神经网络隐藏层和lstm网络的隐藏层。
LSTM中state 与 output关系
xiaokang06的专栏
05-08 8958
本文通过简单的实验说明lstm中 state与output之间的关系假设参数如下：batch_size = 4 # 训练语料中一共有4句话sequeue_len = 5 # 每句话只有5个词语ebedding = 6 # 每个词语的词向量维度为 6hidden_size = 10 # 神经元个数为10(1)output说明    首先，比方说我们训练语料一共有4句话，每句话有5个词语，每个词语eb...
pytorch中LSTM的输出的理解，以及batch_first=True or False的输出层的区别
学习笔记
04-23 9088
还记得寒假，我也纠结过这个问题，当时好像弄清楚了，感觉没什么问题，然后最近上手又感觉有点懵逼，赶紧记下来，免得以后忘记。 网上搜了很多，但是好像没有简单易懂的例子。 目录输出层or隐藏层？batch_first=True or False输出有什么区别？结论 输出层or隐藏层？ 首先，pytorch中LSTM的输出一般用到的是输出层和隐藏层这两个，另一个细胞状态，我没咋用过，就不讲了。 一般两种用法，要么将输出层全连接然后得出结果，要么用隐藏层全连接，然后得出结果，有学长说用隐藏层效果会好一点。两种用法应该
LSTM outputs和state outputs[:, -1, :] outputs[ -1]
Ruruyin的博客
06-08 3137
参考链接：https://blog.csdn.net/gzy_wyu/article/details/104291075 lstm_cell = tf.contrib.rnn.BasicLSTMCell(lstm_units) # lstm_units隐层单元 outputs, final_state = tf.nn.dynamic_rnn(lstm_cell, lstm_inputs, dtype=tf.float32, time_major=True) tf.nn.dynamic_rnn(,input
深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
KI的博客
01-18 8万+
深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
LSTM输入输出各参数
tangweirensheng的博客
12-07 3685
torch.nn.LSTM(*args, kwargs)** 参数 – input_size – hidden_size – num_layers – bias – batch_first – dropout – bidirectional LSTM的输入 input, (h_0, c_0) – input (seq_len, batch, input_size) – h_0 (num_layers * num_directions, batch, hidden_size) # 初始的隐藏状态 – c_.
pytorch LSTM中output和hidden关系
qq_30267007的博客
05-18 2605
pytorch LSTM中output和hidden关系1.LSTM模型简介2.pytorch中的LSTM3.关于h和output之间的关系进行实验 1.LSTM模型简介 能点进来的相信大家也都清楚LSTM是个什么东西，我在这里就不加赘述了。具体介绍模型结构的也有不少。 如何简单的理解LSTM——其实没有那么复杂 人人都能看懂的LSTM 2.pytorch中的LSTM 这里附上一张pytorch官方文档的截图，h_n和c_n我都理解分别是上图中横向箭头中的下方箭头和上方的箭头，那output是干什么用的？
LSTM原理及Pytorch使用
qq_36892712的博客
08-09 189
LSTM（Long Short-Term Memory）是一种循环神经网络（RNN）的变体，用于处理序列数据。LSTM 的设计目的是解决传统 RNN 面临的短期记忆和梯度消失的问题。LSTM 通过引入门控机制来有效地捕捉和传递长期依赖关系。LSTM 的核心思想是引入了一个称为细胞状态（cell state）的中间变量，用于保存和传递信息。细胞状态可以选择性地更新和忘记信息，从而在处理序列数据时更好地控制信息的流动。输入门遗忘门输出门（output gate）和细胞状态。
PyTorch LSTM的参数详解以及输出详解
Decennie的博客
07-31 2087
双向LSTM中 output, h_n, c_n 状态详解 LSTM详解(经典之作) class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size：x的特征维度 hidden_size：隐藏层的特征维度 num_layers：lstm隐层的层数，默认为1 bias：False则bih=0和bhh=0. 默认为True batch_first：True则输入输出的数据格式为 (batch, seq, feature) dropout：除最后一层，每一层的输出都进行d
基于pytorch的lstm参数使用详解
09-18
- **output** 是形状为(seq_len, batch, num_directions * hidden_size)的张量，包含了LSTM每一层的最后一个时间步的输出。 - **h_n** 形状为(num_layers * num_directions, batch, hidden_size)，包含了序列末尾的...
使用Pytorch手动实现单层LSTM
QiuCxiazai的博客
11-01 2799
背景 最近在研究meta learning（元学习），正在尝试其中一个非常经典的方法叫做MAML（Model Agnostic Meta Learning)。这个方法比较特殊，需要我们维护两套模型的权重，并且进行求导，而Pytorch中封装好的Module模块不支持这样的做法（我没有找到很好的方法，如果有大神知道还望赐教），因此需要手动去实现各种层。 对于卷积、BatchNorm等层，Pytorch提供了Functional接口，如torch.nn.functional.conv2d等，这些接口支持我们传入
pytorch 中LSTM模型获取最后一层的输出结果，单向或双向
高颜值的杀生丸(此博客转载自我的博客园)
02-17 5719
单向LSTM import torch.nn as nn import torch seq_len = 20 batch_size = 64 embedding_dim = 100 num_embeddings = 300 hidden_size = 128 number_layer = 3 input = torch.randint(low=0,high=256,size=[...
LSTM模型输入输出的操作
LP5956的博客
04-20 3622
第一维体现的是序列（sequence）结构,也就是序列的个数，用文章来说，就是每个句子的长度，因为是喂给网络模型，一般都设定为确定的长度，也就是我们喂给LSTM神经元的每个句子的长度，当然，如果是其他的带有带有序列形式的数据，则表示一个明确分割单位长度，第三位体现的是输入的元素（elements of input），也就是，每个具体的单词用多少维向量来表示，或者股票数据中 每一个具体的时刻的采集多少具体的值，比如最低价，最高价，均价，5日均价，10均价，等等。input_size：x的特征维度。
对于LSTM输入层、隐含层及输出层参数的个人理解
热门推荐
二次元代码屋
03-29 9万+
LSTM输入层要求的维度是三维的，其中包含三个参数:batch_size, input_dim和time_step。隐含层有一个参数：n_hidden。输出层有两个参数：n_hidden和output_dim。下面举两个例子：利用LSTM识别MNIST手写数字集和LSTM时间序列分析，谈谈个人对这些参数含义的理解。 1. 利用LSTM识别MNIST手写数字集 n_input = 28 #...
Pytorch-LSTM输入输出参数
yilulvxing的博客
08-01 6850
1：Pytorch中的LSTM中输入输出参数 nn.lstm是继承nn.RNNBase，初始化的定义如下： class RNNBase(Module): ... def __init__(self, mode, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0., bidirectional=False): ...
LSTM理论知识讲解
上帝是个娘们的博客
04-09 8076
结构 1. RNN与LSTM的对比 RNN: LSTM: 其中的notation： 这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。 通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。 从上图也可以看出，原来的一个RNN cell只需要存储一个...
PyTorch框架的中LSTM的输入和输出
qq_38633279的博客
11-02 3105
input_size:输入数据的特征维度，（单变量=1,embedding=【词向量的表示维度】）hidden_size:LSTM隐层的维度num_layers:循环神经网络的层数 1或者2batch_first:通常默认为False，输入的数据shape=(time_steps,batch_size,embedding)batch_first=True,则输入的数据shape=(batch_size,time_steps,embedding)
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值