RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

报错信息

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

原因

算loss的时候出了问题导致 loss.requires_grad=False
具体原因因人而异，可能是在算loss的过程中没有严格用tensor计算，中间利用了python list啥的把计算图搞没了；或者最后一层/最后一个模型的requires_grad=False导致传到loss这里的时候也是requires_grad=False

我的原因

我的原因有点离谱，属于上面说的第一种，NMT+RL是一个常见的场景，其中有一步需要抽出multinomial sample出来的token对应的prob，然后计算他们的log sum，我原来的实现如下：

log_probs = []
for i in ...:
	new_cdr = torch.multinomial(cur_seq_prob, num_samples=1).squeeze()
	select_prob = torch.tensor([cur_seq_prob[i][new_cdr[i]] for i in range(cur_seq_prob.shape[0])], device=X.device)
	log_probs.append(torch.log(select_prob).sum())

在算select_prob的时候是新建一个list来一个个提取这些prob的，所以把梯度搞没了
最后参考：https://pytorch.org/docs/stable/distributions.html#torch.distributions.categorical.Categorical.log_prob 改好了：

log_probs = []
for i in ...:
	new_cdr = torch.multinomial(cur_seq_prob, num_samples=1)
	value, log_pmf = torch.broadcast_tensors(new_cdr, cur_seq_prob)
	value = value[..., :1]
	select_prob = log_pmf.gather(-1, value).squeeze(-1)                    
	log_probs.append(torch.log(select_prob).sum())