pack_padded_sequence和pad_packed_sequence&&rnn的输出

rnn的输入

在使用rnn训练数据时，常会面临数据长度不一致的情况，这时我们需要将各个序列pad到固定长度，方便batch并行训练；但是填充后虽然长度相同，但是会有很多无效的填充值，会浪费计算资源

pack_padded_sequence

为了使 RNN 可以高效的读取数据进行训练，就需要在 pad 之后再使用 pack_padded_sequence 对数据进行处理；
input：pad后的序列（由大到小排好序）

需要注意的是，默认条件下，我们必须把输入数据按照序列长度从大到小排列后才能送入 pack_padded_sequence ，否则会报错。

pad_packed_sequence

这个函数实际上是 pack_padded_sequence 函数的逆向操作。就是把压紧的序列再填充回来。
对序列进行填充，填充值一般是0；

packed_input = nn.utils.rnn.pack_padded_sequence(src_emb,src_lens_sort,batch_first=True)
_,final_hidden = self.rnn(packed_input)
#shape:_(batch,seq,hidden*num_direction),hidden:(batch,num_layers*num_direction,hidden)
'''
_实际上是每个时间步拼接后的结果，每个时间步的输出（batch，hidden），层数对其没有影响
hidden是最后一个时间步的输出（batch，hidden），模型如果双向每层就会有两个最终隐藏输出。
'''
out_pad,out_len = nn.utils.rnn.pad_packed_sequence(_,batch_first=True)