nn.Embedding中padding_idx的理解

 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值。

#实例化词嵌入对象,序列进行padding时补padding_idx。当采用补0的方式,padding_idx =0
#这里的词空间大小为5,词嵌入维度大小为7
embeder = nn.Embedding(5,7,padding_idx=0)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4,所以序列s需要padding。
#padding_idx=0,所以s后面进行补0
s_padding = torch.LongTensor([2,3,0,0])
result = embeder(s_padding)
print(result)
print('-'*30)

#举一个奇怪的例子,形成对比
#补4,即padding_idx=4
#这里要注意padding_idx要小于词空间的大小,这里的词空间大小为5,所以padding_idx不能超过4

embeder = nn.Embedding(5,7,padding_idx=4)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4,所以序列s需要padding。
#padding_idx=4,所以s后面进行补4
s_padding = torch.LongTensor([2,3,4,4])
result = embeder(s_padding)
print(result)

运行结果:

 

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值