torch.nn.utils.rnn.pad_packed_sequence()的注意事项

跑程序时报错RuntimeError: shape ‘[4, 5, 50, 500]’ is invalid for input of size 450000（[4, 5, 45 ,500]），一看知道是维度不一致，发现是出现这torch.view()这里，再往下找发现出现在pad_packed_sequence()这里。

很多讲解pytorch如何处理RNN变长padding的博客，但大家都没有提到一个问题，就是torch.nn.utils.rnn.pad_packed_sequence()的参数问题。(其实也不是啥大问题，只是大家没有提到)。 我这次是在用ESIM模型做文本关系推理，git下来的代码就用到了变长处理。但会出现一个问题:比如我设定max_len的长度是50，也就是经过padding后所有的句子统一长度为50。当前batch中，如果最长的句子实际长为45，那，经过pack_padded_sequence压缩，没什么问题，然后经过model，也没问题。

问题在pad_packed_sequence上，经过pad_packed_sequence后的所有句子长度最大就只有45了，也就是说所有<45的句子会重新pad，pad到45，而不是原来的max_len=50。 ESIM模型需要输入两个句子，那么经过pad之后，这两个句子的长度可能就不同了，再后来计算attention的时候就发生了错误。
解决
主要就是使用pad_packed_sequence()漏了个参数，
total_length，把它设置成了max_lenth大小，就好了。