1 PACK_PADDED_SEQUENCE
1.0 功能
- 将填充的序列打包成一个更加紧凑的形式
- 这样RNN、LSTM和GRU等模型可以更高效地处理它们,因为它们可以跳过不必要的计算
1.2 基本使用方法
torch.nn.utils.rnn.pack_padded_sequence(
input,
lengths,
batch_first=False,
enforce_sorted=True)
1.3 参数
input |
|
lengths | 每个批次元素的序列长度的列表 |
batch_first | 如果batch_first 是True,那么期望的输入格式是B x T x * |
enforce_sorted | 如果设置了 如果 |
1.4 举例
import torch
from torch.nn.utils.rnn import pack_padded_sequence
# 输入序列
input_seq = torch.tensor([[6, 8, 9, 0], [5, 7, 0, 0], [1, 0, 0, 0]])
# 序列的实际长度
lengths = [3, 2, 1]
# 使用pack_padded_sequence
packed = pack_padded_sequence(input_seq, lengths, batch_first=True)
packed
#PackedSequence(data=tensor([6, 5, 1, 8, 7, 9]), batch_sizes=tensor([3, 2, 1]), sorted_indices=None, unsorted_indices=None)
2 pad_packed_sequence
对一个已打包的序列进行解包,这个打包的序列通常是通过pack_padded_sequence
函数从一个填充的序列得到的
2.1 基本使用方法
torch.nn.utils.rnn.pad_packed_sequence(
sequence,
batch_first=False,
padding_value=0.0,
total_length=None)
2.2 参数说明
sequence | 要解包的已打包序列 |
batch_first | 指示输出的维度顺序。如果为True,输出将为B x T x *格式,否则为T x B x *格式 |
padding_value | 用于填充的值,通常是0 |
total_length | 可选的。如果指定,输出序列将被填充到这个长度 |
2.3 举例
还是之前的packed
from torch.nn.utils.rnn import pad_packed_sequence
pad_packed_sequence(packed)
'''
(tensor([[6, 5, 1],
[8, 7, 0],
[9, 0, 0]]),
tensor([3, 2, 1]))
'''
pad_packed_sequence(packed, batch_first=True,total_length=5)
'''
(tensor([[6, 8, 9, 0, 0],
[5, 7, 0, 0, 0],
[1, 0, 0, 0, 0]]),
tensor([3, 2, 1]))
'''