nn.Embedding中padding_idx的理解

 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值。

#实例化词嵌入对象，序列进行padding时补padding_idx。当采用补0的方式，padding_idx =0
#这里的词空间大小为5，词嵌入维度大小为7
embeder = nn.Embedding(5,7,padding_idx=0)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4，所以序列s需要padding。
#padding_idx=0，所以s后面进行补0
s_padding = torch.LongTensor([2,3,0,0])
result = embeder(s_padding)
print(result)
print('-'*30)

#举一个奇怪的例子，形成对比
#补4，即padding_idx=4
#这里要注意padding_idx要小于词空间的大小，这里的词空间大小为5,所以padding_idx不能超过4

embeder = nn.Embedding(5,7,padding_idx=4)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4，所以序列s需要padding。
#padding_idx=4，所以s后面进行补4
s_padding = torch.LongTensor([2,3,4,4])
result = embeder(s_padding)
print(result)

运行结果：