pytorch排查loss值出现nan的情况

问题

跑实验室时出现了损失值为nan（下图所示）

排查

因为有一些判断所以用了bd_index = torch.where(s_label != o_label)[0] 语句来选出满足条件的下标，这样做可能返回一个空列表（不满足条件时），因为后续有用到 torch.log() 函数来计算，所以如果是空列表放进去就会出现loss = nan，但是不同情况得具体分析，排查的过程最好用的就是使用语句 with torch.autograd.detect_anomaly(): 来将训练代码包裹起来（如下图所示），这样就能迅速定位到出现空值的点（平时训练时得去掉，会拖慢速度）

最终定位到 torch.log() 处，最终解决办法就是加上常量 log_prob = torch.log(prob + 1e-7) 这样就不会空值

运行成功：