pytorch学习笔记——pack_padded_sequence及pad_packed_sequence

• 为什么需要pack_padded_sequence及pad_packed_sequence操作？
  举例来说，在进行nlp任务之前对数据要进行预处理把短句子进行填充操作。假设句子只有两个有效词，其余为填充词。如果所有词对经过RNN处理，这样会导致RNN对它的表示通过了非常多无用的字符，这样得到的句子表示就会有误差。实际上我们只需要在两个有效词经过RNN之后就得到句子的表示。
• pack_padded_sequence及pad_packed_sequence操作介绍及两者的关系？
  两者互为逆操作

from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence

seqs = torch.tensor([[1, 0, 0 ,0],
                    [2, 2, 0, 0],
                    [3, 3, 3, 0],
                    [4, 4, 4, 4]])
lens = [1, 2, 3, 4]  # 表示seqs中每一行除去填充的实际长度
packed = pack_padded_sequence(seqs, lens, batch_first=True, enforce_sorted=False)
print(packed)
"""
显示结果

PackedSequence(data=tensor([4, 3, 2, 1, 4, 3, 2, 4, 3, 4]), 
		       batch_sizes=tensor([4, 3, 2, 1]), 
               sorted_indices=tensor([3, 2, 1, 0]), 
               unsorted_indices=tensor([3, 2, 1, 0]))
"""
seq_unpacked, lens_unpacked = pad_packed_sequence(packed, batch_first=True)
print(seq_unpacked)
print(lens_unpacked)
"""
显示结果
tensor([[1, 0, 0, 0],
        [2, 2, 0, 0],
        [3, 3, 3, 0],
        [4, 4, 4, 4]])
tensor([1, 2, 3, 4])
"""