[CUDA报错] CUDA error: device-side assert triggered

问题描述

昨天在实现新想法的时候遇到这样的一个报错
CUDA error: device-side assert triggered 触发了设备端断言
报错的地方在计算loss的部分。我的任务是分割任务，label 0,1 表示背景和前景
loss中使用了dice loss，计算FP FN的时候需要用到1-label的操作去计算交集（这里是铺垫）

解决方法

参考这篇博文 CUDA error: device-side assert triggered
他遇到同样的报错，他考虑了原因可能有 激活函数带来的损失函数输入错误
由于我的这个loss是自己重新实现的，我又检查了一遍，应该没问题。

• 检查loss的输入
  • 观察输入的tensor tensor.size() tensor.type()
  • 顺便记录一下 tensor.dtype 得到的是torch.float16 tensor.type() 得到的是 torch.HalfTensor
  • 发现有点不对劲 怎么有的是HalfTensor 有的是 FloatTensor
  • 怀疑是不是numpy载入label的时候出问题了？numpy的label存的时候精度不一样嘛？
    
• 检查numpy文件
  • 用matplot看了一下图片，感觉没问题，难道是opencv处理的时候里面还含有除了 0 1之外的数值？
  • 用 np.unique() 看了一下 ，找到问题了！！ opencv处理之后还是灰度值，忘记/255了
    • 这样在做 1-label 的时候就会溢出，所以报错了