torch.nn.utils.rnn.pad_packed_sequence()的注意事项

提要

看了很多讲解pytorch如何处理RNN变长padding的博客，我自己也写了一篇。但大家都没有提到一个问题，就是torch.nn.utils.rnn.pad_packed_sequence()的参数问题。(其实也不是个问题，只是大家没有提到)

我当时在用ESIM模型做文本关系推理，git下来的代码就用到了变长处理（当时看了很久）。但会出现一个问题:比如我设定max_len的长度是200，也就是经过padding后所有的句子统一长度为200。当前batch中，如果最长的句子实际长为135，那，经过packed，没什么问题，然后经过model，也没问题。

问题在pad上，pad后的所有句子长度最大就只有135了，也就是说所有<135的句子会重新pad，pad到135，而不是原来的max_len=200。

ESIM模型需要输入两个句子，那么经过pad之后，这两个句子的长度可能就不同了，再后来计算attention的时候就发生了错误。

解决

其实没什么大不了的。。。就是漏了个参数，
total_length，把它设置成了max_lenth大小，就好了。

总结

只是想做个记录，技术含量并不高。