pytorch的pack和unpack函数

pack
unpack

导入

from torch.nn.utils.rnn import pack_padded_sequence as pack
from torch.nn.utils.rnn import pad_packed_sequence as unpack

使用方法举例

 embs = pack(self.embedding(inputs), lengths)
 outputs, state = self.rnn(embs)
 outputs = unpack(outputs)[0]

转载

pytorch RNN 变长输入 padding

用RNN（包括LSTM\GRU等）做NLP任务时，对于同一个batch内的短句子一般需要padding补齐，这些padding的字符一般不应该拿去算output、hidden state、loss…的。

TensorFlow中已经实现了RNN的变长输入，只需要在调用RNN时指定batch内各sequence的length即可：RNN(input, length…)。但在pytorch中就会麻烦一些。

当输入只有一个时，即forward中只有一个x： def forward(self, x):…，此时非常简单，只需要在调用RNN之前用torch.nn.utils.rnn.pack_padded_sequence(input, length) 对x进行包装即可，这里，需要注意的是x内的seq需要按长度降序排列。形如：

x_emb = self.emb(x)
x_emb_p = torch.nn.utils.rnn.pack_padded_sequence(x_emb, xlen, batch_first=True)
out_pack, (ht, ct) = self.rnn(x_1_emb_p, None)

此时，返回的ht和ct就是剔除padding字符后的hidden state和cell state，都是Variable类型的。但是返回的output是PackedSequence类型的，可以使用：

out = torch.nn.utils.rnn.pad_packed_sequence(out_pack, batch_first=True)

将output转化成tuple：(padded sequence, sequence lengths)。