Pytorch中的RNN中的pack_padded_sequence和pad_packed_sequence函数用法

最新推荐文章于 2023-11-01 20:22:30 发布
最新推荐文章于 2023-11-01 20:22:30 发布
阅读量272 收藏
点赞数
分类专栏： Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Decennie/article/details/119221431
版权

RNN中的pack_padded_sequence和pad_packed_sequence函数用法

详解二

LSTM的一次forward对应一个time step，接收的是across batches的输入，这就导致短序列可能在当前time step上已经结束，而你还是在给它输入东西（pad），这就会对结果产生影响（可以对照公式看看，即便输入全0还是会有影响）。我们想要的效果是，LSTM知道batch中每个序列的长度，等到某个序列输入结束后下面的time step就不带它了。

Decennie
关注
专栏目录
pack_padded_sequence用法与完整示例
安静到无声
06-28 571
是 PyTorch 中用于处理变长序列数据的函数。它的主要作用是将一个批次的序列数据打包成适合输入到 RNN（循环神经网络）模型中的形式，以避免对填充部分进行多余的计算。在自然语言处理任务中，例如文本分类、机器翻译等，输入的文本序列长度往往不同，为了方便进行批量处理，需要对较短的序列进行填充（padding）使其与最长序列的长度相同。但是，在某些情况下，填充的部分对模型来说是没有意义的，而且会导致额外的计算开销。因此，函数将填充的部分从计算中移除，以提高模型的效率。下面是一个示例，介绍了如何使用。
【pytorch】torch.nn.utils.rnn的pad_sequence、pack_padded_sequence、pad_packed_sequence、PackedSequence
学渣的博客
07-04 738
nn.utils.rnn.PackedSequence是nn.utils.rnn.pack_padded_sequence的亲戚，两者输出的结果都一样，都是将序列进行pack，得到。第一个是PackedSequence对象，而标准RNN返回的是所有序列，每个位置的隐向量输出，形状是[batch_size,seq_len,hidden_size]。第二个一模一样，是RNN每一个序列的最后一个位置的隐向量输出，形状是[batch_size,hidden_size]。类型的变量，只是输入的参数不一样。
pack_padded_sequence和pad_packed_sequence&&rnn的输出
weixin_42887772的博客
06-22 358
在使用rnn训练数据时，常会面临数据长度不一致的情况，这时我们需要将各个序列pad到固定长度，方便batch并行训练；但是填充后虽然长度相同，但是会有很多无效的填充值，会浪费计算资源为了使 RNN 可以高效的读取数据进行训练，就需要在 pad 之后再使用 pack_padded_sequence 对数据进行处理； input：pad后的序列（由大到小排好序）需要注意的是，默认条件下，我们必须把输入数据按照序列长度从大到小排列后才能送入 pack_padded_sequence ，否则会报错。这个函数实际上是
Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence()
yinge的博客
03-24 446
Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence() 为什么有pad和pack操作？ 先看一个例子，这个batch中有5个sample 如果不用pack和pad操作会有一个问题，什么问题呢？比如上图，句子“Yes”只有一个单词，但是padding了多余的pad符号，这样会导致LSTM对它的表示通过了非常多无用的字符，这样得到的句子表示就会有误差，更直观的如下图： 那么我们正确的做法应该是怎么样呢？ 在上面这个例子，我们想要得到的表示仅仅是LS
pytorch nn.utils.rnn.pack_padded_sequence 分析
duoyasong5907的博客
12-04 601
pytorch
Pytorch中的RNN之pack_padded_sequence
jingquanliang的专栏
07-17 1405
感谢已有的一些博客，但是感觉总结的不到位，于是自己写了一下： https://www.cnblogs.com/sbj123456789/p/9834018.html http://www.voidcn.com/article/p-fmyxrtak-brn.html 直接上测试代码 import torch import numpy as np input = torch.from_num...
nn.utils.rnn.pack_padded_sequence 与 nn.utils.rnn.pad_packed_sequence
biubiubiu888的博客
03-13 2299
nn.utils.rnn.pack_padded_sequence ，nn.utils.rnn.pad_packed_sequence以及 参考https://www.cnblogs.com/lindaxin/p/8052043.html import torch import torch.nn as nn from torch.autograd import Variable f...
pack_padded_sequence and pad_packed_sequence
鲁班七号
12-19 229
此文章为阐述pytorch中pack_padded_sequence 和pad_packed_sequence的原理 在变长序列文本中，一个batch中的各样本长度可能不一致，在使用RNN模型时，需要填充至统一长度，被填充的位置实际无意义。我们通常取最后一个时刻的输出作为最终输出，但是填充后的最后时刻并非是原样本的最后时刻。为了获取每个样本真实的最后时刻位置输出，便有了pack_padded_sequence 和pad_packed_sequence。 如下图，句子yes被填充4个pad，为了获取句子的句向
Pytorch之pack_padded_sequence与pad_packed_sequence函数
weixin_47187370的博客
03-19 272
因为专注于NLP的学习与研究，所以经常接触文本数据，文本数据有一个不好的地方是不同的文本的长度不同，而输入到模型中一个Batch的数据要求他们的长度是相同的，这就产生了要给文本加padding，使得一个Batch中所有的文本长度变成相同的，但pad不能参与到训练，这就给广大的炼丹师带来了麻烦，但幸好Pytorch给我们提供了两个函数pack_padded_sequence与pad_packed_sequence让我们很好的解决了这个问题。 import torch from torch.nn.utils.r
解决 torch.nn.utils.rnn.pack_padded_sequence(input, length, batch_first=True) length should be sort的问题
weixin_44714173的博客
04-02 1318
torch.nn.utils.rnn.pack_padded_sequence(input, length, batch_first=True) length should be sort 一开始我就去torch的官网：https://pytorch.org/docs/stable/generated/torch.nn.utils.rnn.pack_padded_sequence.html torch.nn.utils.rnn.pack_padded_sequence（输入，长度，batch_first =
pytorch中 nn.utils.rnn.pack_padded_sequence和nn.utils.rnn.pad_packed_sequence
m0_46483236的博客
04-12 6270
1. 官方文档： torch.nn — PyTorch 1.11.0 documentation 2. 应用背景： 在使用pytorch处理数据时，一般是采用batch的形式同时处理多个样本序列，而每个batch中的样本序列是不等长的，导致rnn无法处理。所以，通常的做法是先将每个batch按照最长的序列进行padding处理等长的形式。 但padding操作会带来一个问题，那就是对于多数进行padding过的序列，会导致rnn对它的表示多了很多无用的字符，我们希望的是在最后一个有用的字符后就.
RNN之pack_padded_sequence()和pad_packed_sequence()具体使用代码完整展现
believe__m的博客
09-12 347
RNN之pack_padded_sequence()和pad_packed_sequence()具体使用代码完整展现
torch.nn.rnn.pack_padded_sequence及pad_packed_sequence的理解
Moon_mx的博客
01-29 556
torch.nn.rnn.pack_padded_sequence及pad_packed_sequence的理解pytorch官网解释理解某博主解释 pytorch官网解释理解 torch.nn.utils.rnn.pad_packed_sequence(sequence, batch_first=False, padding_value=0.0, total_length=None) Pads a packed batch of variable length sequences. It is an
pytorch笔记：PackedSequence对象送入RNN
最新发布
qq_40206371的博客
11-01 1146
使用的主要好处是。因为通过跳过填充部分，RNN不需要在这些部分进行无用的计算。这特别对于处理长度差异很大的批量序列时很有帮助。
pytorch中的pad_sequence、pack_padded_sequence和pad_packed_sequence函数
tcn760的博客
05-26 8714
torch.nn.utils.rnn.pad_sequence、torch.nn.utils.rnn.pack_padded_sequence和torch.nn.utils.rnn.pad_packed_sequence 在使用pytorch训练模型的时候，一般采用batch的形式同时处理多个样本序列，而同一batch中时序信息的的长度是不同的，这样就无法传入RNN，LSTM，GRU这样的模型中进行处理。一个常用的做法是按照一个指定的长度(或者按照batch中最长的序列长度)对batch中的序列进行填充(p
Pytorch中的 pad_packed_sequence解析
jingquanliang的专栏
07-17 2491
参考：https://www.cnblogs.com/sbj123456789/p/9834018.html 参考的博客有一个错误： 最后在调用pad_packed_sequence的时候，没有添加batch_first=True，导致结果错误！输出的维度信息不对！！请注意！！ import torch import torch.nn as nn import numpy as np inp...
pytorch中torch.nn.utils.rnn相关sequence的pad和pack操作
HUSTHY的博客
04-05 7667
自然语言处理任务中，模型的输入一般都是变长的。为了能够组成batch输入模型进行并行计算，都是要把变长的数据处理为等长的。之前都是自己手动padding来实现的，后面发现torch中已经有了相应的API能够高速快速的处理这样的问题，同时也能够处理好padding无意义的值带来的影响。下面就一起来看看torch.nn.utils.rnn中处理这些问题的API吧！ 一、pad_sequence 二、pack_sequence 三、pad_packed_sequence 四、pack...
PyTorch中pack_padded_sequence的使用详解与实例
6. 使用`pack_padded_sequence`：将填充后的序列和对应的长度向量传递给`pack_padded_sequence`，该函数会将无意义的填充部分从计算中剔除，使得RNN在处理序列时只关注实际的单词信息，提高计算效率。 在示例代码中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值