nll_loss = log_probs.gather(dim=-1, index=labels)

这个 gather 函数是 PyTorch 中的一个函数,它用于从一个张量中按照指定的索引取值。

在这里,log_probs 是一个形状为 (batch_size, sequence_length, vocab_size) 的张量,每个元素代表一个词汇在序列中的对数概率。

labels 是一个形状为 (batch_size, sequence_length) 的张量,每个元素代表一个序列中的真实标签的索引。

gather 函数的作用是,从 log_probs 中按照 labels 的索引取值。也就是说,它会从 log_probs 的最后一维(即 vocab_size 维度)中取出与 labels 中索引对应的值。

举个例子,如果 log_probs 是这样的:

[[[0.1, 0.2, 0.3, 0.4],
  [0.5, 0.6, 0.7, 0.8],
  [0.9, 0.10, 0.11, 0.12]],

 [[0.13, 0.14, 0.15, 0.16],
  [0.17, 0.18, 0.19, 0.20],
  [0.21, 0.22, 0.23, 0.24]]]

labels 是这样的:

[[1, 2, 3],
 [0, 1, 2]]

那么 gather 函数会取出以下值:

[[0.2, 0.7, 0.12],
 [0.14, 0.18, 0.23]]

这些值就是 nll_loss 的值,它们代表了真实标签在序列中的对数概率。

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值