RuntimeError: CUDA error: device-side assert triggered

# 记一次device-side assert triggered，报错如下

/pytorch/aten/src/ATen/native/cuda/Loss.cu:115: operator(): block: [0,0,0], thread: [0,0,0] Assertion `input_val >= zero && input_val <= one` failed.
/pytorch/aten/src/ATen/native/cuda/Loss.cu:115: operator(): block: [0,0,0], thread: [1,0,0] Assertion `input_val >= zero && input_val <= one` failed.

之前也遇到过，排查了半天，改学习率，换torch版本都试过，最后发现是因为有计算开根号时出错了。代码如下：

ans = torch.sqrt(torch.pow(a, 2) + torch.pow(b, 2))

大概就是torch.sqrt里面的计算结果小于0，但是我明明两个都是计算的平方，不可能小于0的，具体是什么问题也不清楚。有可能是在浮点数精度的环境下出现一些微小负数，也可能和我多卡训练问题导致的。最后解决方法是加个偏置值。

ans = torch.sqrt(torch.pow(a, 2) + torch.pow(b, 2) + 1e-8)