CUDA ERROR: device-side assert triggered at问题的解决

最近在用深度学习模型跑自己的数据集时遇到了如标题所示的错误,然后在网上搜索了很多方法,发现是计算dice_loss时出错了,于是检查输入输出以及label标签

  1. torch.isnan(label_batch).any()torch.isinf(label_batch).any()函数确定了outputs和label_batch中都没有nan和inf,输出都为False
  2. 于是再次根据搜索得到的信息,在运行命令前加了CUDA_LAUNCH_BLOCKING=1,看能不能看到具体问题,然后报错是这样的
    /pytorch/aten/src/THCUNN/SpatialClassNLLCriterion.cu:104: void cunn_SpatialClassNLLCriterion_updateOutput_kernel(T *, T *, T *, long *, T *, int, int, int, int, int, long) [with T = float, AccumT = float]: block: [0,0,0], thread: [294,0,0] Assertion t >= 0 && t < n_classes failed.
    THCudaCheck FAIL file=/pytorch/aten/src/THCUNN/generic/SpatialClassNLLCriterion.cu line=127 error=710 : device-side assert triggered
    这说明我的label有问题,有不是0或者1的
  3. 于是输出label的标签查看有没有不是0或者1的,但是!!!输出老是简略,看不到完整的256*256信息!!然后走了很多弯路,耽误了一天时间,最后根据这篇文章 将labe的标签改了
    在dataset里面的__getitem__函数里面读取label并处理的地方加了
num_class = 2
ignore_label = 0
label[label >= num_class] = ignore_label
label[label <= 0] = ignore_label

就解决了这个问题
根据自己的需求改ignore_label和num_class
我的是二分类问题,所以设置为:

num_class = 2
ignore_label = 0

其实昨天就看到这篇文章了,但是不知道加在哪里,今天再次看到然后仔细看了评论,加在了dataset里面的__getitem__函数里,就解决了这个问题,改代码还是得沉下心来,不能急躁。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
CUDA error: device-side assert triggered错误通常是由于在GPU设备上执行的CUDA代码中出现了断言错误导致的。断言是一种用于检查程序中的条件是否满足的机制,当条件不满足时,断言会触发错误并终止程序的执行。 要解决CUDA error: device-side assert triggered错误,可以按照以下步骤进行排查和修复: 1. 检查CUDA代码:首先,检查你的CUDA代码中是否存在断言语句。断言通常以`assert(condition)`的形式出现,其中`condition`是一个布尔表达式。确保断言语句的条件正确,并且在满足条件时不会触发断言错误。 2. 检查输入数据:断言错误有可能是由于输入数据不符合预期导致的。检查你的输入数据是否满足CUDA代码中对数据类型、大小、范围等方面的要求。确保输入数据的正确性。 3. 检查内存分配:断言错误还可能与内存分配有关。检查你的CUDA代码中是否存在内存分配错误,比如使用了无效的指针或者越界访问了数组。确保内存分配和释放的正确性。 4. 启用错误检查:在CUDA程序中,可以通过设置CUDA运行时环境变量来启用错误检查功能,以便更详细地了解错误的具体信息。可以将以下代码添加到你的CUDA程序中,以启用错误检查: ```cpp cudaDeviceSynchronize(); cudaError_t error = cudaGetLastError(); if (error != cudaSuccess) { printf("CUDA error: %s\n", cudaGetErrorString(error)); } ``` 这段代码会在CUDA程序中的关键位置进行同步,并检查是否存在错误。如果有错误发生,它会打印出错误信息,帮助你更好地定位问题。 5. 查阅文档和论坛:如果以上步骤无法解决问题,可以查阅CUDA官方文档、开发者论坛或者其他相关资源,寻找类似问题解决方案或者向社区寻求帮助。 希望以上步骤能够帮助你解决CUDA error: device-side assert triggered错误。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值