CUDA RuntimeError: CUDA error: an illegal memory access was encountered

已于 2022-10-19 16:24:02 修改
阅读量862 收藏
点赞数
分类专栏： python 工具 文章标签： pytorch 深度学习 python
于 2022-10-19 16:19:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010590593/article/details/127410358
版权

我的CUDA version=11.4
百度、谷歌上能找的办法都找了，有各种解决办法

  • 减小batch_size的
  • 把所有net和输入都放入到相同设备的
  • net的train和eval状态检查的
  • 防止内存中的数据混乱，将前面输出clone的
  • 设置CUDA_LAUNCH_BLOCKING=1的
  • 设置torch.cuda.set_device(1)的
  • cudnn版本不对，需要重装的

都试了个遍，都没用

最后试着将pytorch的版本回退了一下，由v1.12.0退到v1.11.0之后，发现问题解决了

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch
J.Sanchez
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RuntimeError: CUDA error: an illegal instruction was encountered
Hello Word!
07-19 5744
pytorch训练跑着好好的, 断了: Traceback (most recent call last): File "main_multi_model_test.py", line 147, in <module> main() File "main_multi_model_test.py", line 119, in main train_loss, train_acc, train_bacc = train(model, optimizer, train_load
RuntimeError: CUDA error: an illegal memory access was encountered
热门推荐
Castlehe的博客
07-19 3万+
问题解决
【debug】报错RuntimeError: CUDA error: an illegal memory access was encountered
向上生长的程序媛的博客
08-07 2872
mmseg工程报错RuntimeError: CUDA error: an illegal memory access was encountered解决。
解决RuntimeError: CUDA error: an illegal memory access was encountered问题
chenf1995的博客
02-11 1万+
用pytorch在多卡训练transformers的时候出现了以下问题： RuntimeError: CUDA error: an illegal memory access was encountered terminate called after throwing an instance of 'c10::Error' what(): CUDA error: an illegal memory access was encountered Exception raised from create
RuntimeError: CUDA out of memory
Star__dust的博客
01-10 1778
问题描述 运行开源代码，使用CUDA在GPU运行，报错RuntimeError: CUDA out of memory. Tried to allocate 800.00 MiB (GPU 0; 6.00 GiB total capacity; 3.78 GiB already allocated; 155.14 MiB free; 679.80 MiB cached) 可以发现有6g用了3.78...
Python RuntimeError: thread.__init__() not called解决方法
09-22
然而，在使用`threading.Thread`进行多线程编程时，可能会遇到`RuntimeError: thread.__init__() not called`这样的错误。这个错误通常意味着你没有正确地初始化`threading.Thread`的实例。 在标题和描述中提到的...
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
在Python的Tornado框架中，`RuntimeError: Cannot run the event loop while another loop is running` 是一个常见的错误，它表明你的代码试图在一个已经运行中的事件循环（Event Loop）内启动另一个事件循环。...
mmseg——报错解决：RuntimeError: CUDA error: an illegal memory access was encountered
Irving.Gao的博客
08-22 346
可能解决方法汇总 GitHub issue相关汇总 RuntimeError: CUDA error while training CUDA error: an illegal memory access was encountered 记录使用mmseg时在计算交叉熵损失遇到的RuntimeError问题与解决方案
PyCUDA LogicError: cuModuleLoadDataEx failed: an illegal memory access was encountered,问题解决
范小c~的博客
01-17 3431
tensorRT部署过程中遇到PyCUDA LogicError: cuModuleLoadDataEx failed: an illegal memory access was encountered 的解决方案
RuntimeError: CUDA error: an illegal memory access was encountered的解决方法
weixin_44320558的博客
12-07 2603
在Transformer模型中遇到这个问题 参考方法：https://www.jianshu.com/p/e1a0b14916f9 原因 class Add_Norm(nn.Module): def __init__(self): super(Add_Norm, self).__init__() self.dropout = nn.Dropout(config.p) def forward(self, x, sub_layer, **kwargs):
pytorch报错：CUDA error: an illegal memory access was encountered
weixin_44414948的博客
11-21 2万+
pytorch1.6版本在训练时报错： RuntimeError: CUDA error: an illegal memory access was encountered 报错原因与低版本的pytorch（如1.1版本）报错相同： RuntimeError: Expected object of backend CUDA but got backend CPU for argument # 解决方法： https://blog.csdn.net/weixin_44414948/article/detai
failed to query event: CUDA_ERROR_ILLEGAL_INSTRUCTION: an illegal instruction was encountered
Ben出没冇注意的博客
03-24 2793
报错信息： Error polling for event status: failed to query event: CUDA_ERROR_ILLEGAL_INSTRUCTION: an illegal instruction was encountered 2022-03-24 23:32:13.170887: F tensorflow/core/common_runtime/gpu/gpu_event_mgr.cc:273] Unexpected Event status: 1 情况描述： 我自定.
【yolo系列：运行报错RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors m】
weixin_47869094的博客
09-06 4188
使用yolov7训练数据集，但是训练到一半就开始停止了并且报错。
RuntimeError: CUDA error： an illegal memory access was encountered
最新发布
10-19
RuntimeError: CUDA error: an illegal memory access was encountered通常是由于GPU内存不足或者访问了不存在的内存地址导致的。这个错误通常会在训练深度学习模型时出现。解决这个问题的方法包括： 1.减小batch_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值