pytorch处理RNN输入变长序列padding
pytorch处理RNN输入变长序列padding
一、为什么RNN需要处理变长输入
假设我们有情感分析的例子,对每句话进行一个感情级别的分类,主体流程大概是下图所示:
但是 当进行批次(batch)训练时,会存在很多训练样例长度不同的情况,这就需要padding,将短句子padding为跟最长的句子一样。
比如向下图这样:
但是这会有一个问题,什么问题呢?比如上图,padding了5的pad符号,导致 LSTM 通过了非常多无用字符,这样得到的句子表示就会有误差,更直观的如下图:
正确的做法应该是?
原创
2022-01-03 14:31:48 ·
1132 阅读 ·
0 评论