Pytorch-lightning使用过程遇到的bug:CUDNN_STATUS_INTERNAL_ERROR

Bug来源:
在这里插入图片描述
报错如下:

cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

解决方案:
(1)改小batch_size的值(4或更小),但该方法不太管用
(2)如果经过(1)后又出现如下的报错:

RuntimeError: CUDA out of memory. Tried to allocate 3.03 GiB (GPU 0; 8.00 GiB total capacity; 409.61 MiB already allocated; 5.88 GiB free; 654.00 MiB reserved in total by PyTorch)

  这不是超出memory的问题,可能是DataLoader的workers太多了,例如我下面加起来workers=16了。

    dataloader_train = DataLoader(train_set, batch_size=args.batch_size, shuffle=True, num_workers=8)
    dataloader_val = DataLoader(val_set, batch_size=args.batch_size, shuffle=False, num_workers=8)

    trainer.fit(model, dataloader_train, dataloader_val)

  然后将workers改小就行了(workers<cpu线程数?)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用中提到了一个讨论,其中提到了关于`RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR`的问题。引用中的博客提到了一种解决方法,即将`torch.backends.cudnn.enabled`设置为`False`。引用中的目录显示了作者在解决这个问题上经历了一系列曲折的过程。综合这些信息,可以得出以下答案: `RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR`是一个常见的错误,通常与深度学习框架PyTorchcuDNN库有关。这个错误可能由多种原因引起,例如GPU驱动问题、版本不匹配或其他配置问题。为了解决这个问题,可以尝试将`torch.backends.cudnn.enabled`设置为`False`,这将禁用cuDNN加速,但可能会影响模型的性能。此外,还可以尝试更新GPU驱动程序、重新安装PyTorch或检查其他配置问题。需要注意的是,由于这个问题的复杂性和个体差异,可能需要进行多次尝试和调试才能找到最适合的解决方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR](https://blog.csdn.net/flashlau/article/details/120724131)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [【pytorchcuDNN error: CUDNN_STATUS_INTERNAL_ERROR终终终终于解决了!](https://blog.csdn.net/zylooooooooong/article/details/115585582)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值