导入
from torch.nn.utils.rnn import pack_padded_sequence as pack
from torch.nn.utils.rnn import pad_packed_sequence as unpack
使用方法举例
embs = pack(self.embedding(inputs), lengths)
outputs, state = self.rnn(embs)
outputs = unpack(outputs)[0]
转载
用RNN(包括LSTM\GRU等)做NLP任务时,对于同一个batch内的短句子一般需要padding补齐,这些padding的字符一般不应该拿去算output、hidden state、loss…的。
TensorFlow中已经实现了RNN的变长输入,只需要在调用RNN时指定batch内各sequence的length即可:RNN(input, length…)。但在pytorch中就会麻烦一些。
当输入只有一个时,即forward中只有一个x: def forward(self, x):…,此时非常简单,只需要在调用RNN之前用torch.nn.utils.rnn.pack_padded_sequence(input, length) 对x进行包装即可,这里,需要注意的是x内的seq需要按长度降序排列。形如:
x_emb = self.emb(x)
x_emb_p = torch.nn.utils.rnn.pack_padded_sequence(x_emb, xlen, batch_first=True)
out_pack, (ht, ct) = self.rnn(x_1_emb_p, None)
此时,返回的ht和ct就是剔除padding字符后的hidden state和cell state,都是Variable类型的。但是返回的output是PackedSequence类型的,可以使用:
out = torch.nn.utils.rnn.pad_packed_sequence(out_pack, batch_first=True)
将output转化成tuple:(padded sequence, sequence lengths)。