每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值。
#实例化词嵌入对象,序列进行padding时补padding_idx。当采用补0的方式,padding_idx =0
#这里的词空间大小为5,词嵌入维度大小为7
embeder = nn.Embedding(5,7,padding_idx=0)
print(embeder.weight) #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4,所以序列s需要padding。
#padding_idx=0,所以s后面进行补0
s_padding = torch.LongTensor([2,3,0,0])
result = embeder(s_padding)
print(result)
print('-'*30)
#举一个奇怪的例子,形成对比
#补4,即padding_idx=4
#这里要注意padding_idx要小于词空间的大小,这里的词空间大小为5,所以padding_idx不能超过4
embeder = nn.Embedding(5,7,padding_idx=4)
print(embeder.weight) #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4,所以序列s需要padding。
#padding_idx=4,所以s后面进行补4
s_padding = torch.LongTensor([2,3,4,4])
result = embeder(s_padding)
print(result)
运行结果: