RuntimeError: CUDA error: device-side assert triggered

最新推荐文章于 2024-03-25 10:50:12 发布
最新推荐文章于 2024-03-25 10:50:12 发布
阅读量1.5k 收藏
点赞数
分类专栏： 深度学习记录 文章标签： 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48915167/article/details/128979594
版权 
/opt/conda/conda-bld/pytorch_1659484772347/work/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:145: operator(): block: [28,0,0], thread: [52,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.
/opt/conda/conda-bld/pytorch_1659484772347/work/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:145: operator(): block: [28,0,0], thread: [58,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.
/opt/conda/conda-bld/pytorch_1659484772347/work/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:145: operator(): block: [28,0,0], thread: [60,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.
/opt/conda/conda-bld/pytorch_1659484772347/work/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:145: operator(): block: [28,0,0], thread: [62,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.
/opt/conda/conda-bld/pytorch_1659484772347/work/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:145: operator(): block: [27,0,0], thread: [122,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.
Traceback (most recent call last):
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/call.py", line 36, in _call_and_handle_interrupt
    return trainer.strategy.launcher.launch(trainer_fn, *args, trainer=trainer, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/strategies/launchers/subprocess_script.py", line 90, in launch
    return function(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 624, in _fit_impl
    self._run(model, ckpt_path=self.ckpt_path)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 1061, in _run
    results = self._run_stage()
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 1140, in _run_stage
    self._run_train()
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 1163, in _run_train
    self.fit_loop.run()
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/loop.py", line 199, in run
    self.advance(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/fit_loop.py", line 267, in advance
    self._outputs = self.epoch_loop.run(self._data_fetcher)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/loop.py", line 199, in run
    self.advance(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/epoch/training_epoch_loop.py", line 214, in advance
    batch_output = self.batch_loop.run(kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/loop.py", line 199, in run
    self.advance(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/batch/training_batch_loop.py", line 88, in advance
    outputs = self.optimizer_loop.run(optimizers, kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/loop.py", line 199, in run
    self.advance(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 200, in advance
    result = self._run_optimization(kwargs, self._optimizers[self.optim_progress.optimizer_position])
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 247, in _run_optimization
    self._optimizer_step(optimizer, opt_idx, kwargs.get("batch_idx", 0), closure)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 366, in _optimizer_step
    using_lbfgs=is_lbfgs,
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 1305, in _call_lightning_module_hook
    output = fn(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/core/module.py", line 1661, in optimizer_step
    optimizer.step(closure=optimizer_closure)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/core/optimizer.py", line 169, in step
    step_output = self._strategy.optimizer_step(self._optimizer, self._optimizer_idx, closure, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/strategies/ddp.py", line 281, in optimizer_step
    optimizer_output = super().optimizer_step(optimizer, opt_idx, closure, model, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/strategies/strategy.py", line 235, in optimizer_step
    optimizer, model=model, optimizer_idx=opt_idx, closure=closure, **kwargs
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/plugins/precision/native_amp.py", line 85, in optimizer_step
    closure_result = closure()
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 147, in __call__
    self._result = self.closure(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 133, in closure
    step_output = self._step_fn()
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/loops/optimization/optimizer_loop.py", line 406, in _training_step
    training_step_output = self.trainer._call_strategy_hook("training_step", *kwargs.values())
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 1443, in _call_strategy_hook
    output = fn(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/strategies/ddp.py", line 352, in training_step
    return self.model(*args, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/torch/nn/modules/module.py", line 1130, in _call_impl
    return forward_call(*input, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/torch/nn/parallel/distributed.py", line 1008, in forward
    output = self._run_ddp_forward(*inputs, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/torch/nn/parallel/distributed.py", line 969, in _run_ddp_forward
    return module_to_run(*inputs[0], **kwargs[0])
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/torch/nn/modules/module.py", line 1130, in _call_impl
    return forward_call(*input, **kwargs)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/pytorch_lightning/overrides/base.py", line 98, in forward
    output = self._forward_module.training_step(*inputs, **kwargs)
  File "train.py", line 104, in training_step
    loss_depth = self.loss(results, depths, masks)
  File "/home/server-12/anaconda3/envs/casmvsnet/lib/python3.7/site-packages/torch/nn/modules/module.py", line 1130, in _call_impl
    return forward_call(*input, **kwargs)
  File "/home/server-12/mbh/casmvsnet_pl/losses.py", line 19, in forward
    loss_depth += self.loss(depth_pred_l[mask_l], depth_gt_l[mask_l]) * 2**(1-l)
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

运行了14个epoch之后第15个epoch才报错，看报错像是计算loss的时候数组越界了，没找到问题原因。

环境：两张显卡有两个人在用，都是用的双卡训练，也不知道是否与多人公共显卡有关，因为之前自己用的时候没发生过这种错误

码冰糖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
华为OD机试C、D卷 - 文件缓存系统（Java & JS & Python & C & C++）
03-22 6万+
## 题目描述 请设计一个文件缓存系统，该文件缓存系统可以指定缓存的最大值（单位为字节）。 文件缓存系统有两种操作： 存储文件（put） 读取文件（get） 操作命令为： put fileName fileSize get fileName 存储文件是把文件放入文件缓存系统中； 读取文件是从文件缓存系统中访问已存在，如果文件不存在，则不作任何操作。 当缓存空间不足以存放新的文件时，根据规则删除文件，直到剩余空间满足新的文件大小位置，再存放新文件。 具体的删除规则为： 文件访问过后，会更新文件的
RuntimeError: CUDA error: device-side assert triggered解决方法
GrandpaTong的博客
04-13 9442
这里写自定义目录标题如何解决总结：数值越界，自己debug 发现出现错误的代码位置，核实附近的函数以及输入，看看到底是哪里越界了，然后想办法解决越界问题。 如何解决 因为大家的代码各不相同，所以每个人都要根据自己的情况来修改代码。产生这个错误的原因就是输入的数值超过索引的界限。举一个不太恰当的例子，a = [0,1,2] 如果你想获得a[99] 就会出现索引越界。 那么我们如果在pytorch中出现这个问题，可能是因为1.损失函数，如BCE损失函数接受的范围为[0,1]，如果你没有做softmax归一化将
解决RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously
最新发布
qq_40914408的博客
03-25 173
人脸重构代码问题
华为OD机试C、D卷 - 员工派遣（Java & JS & Python & C & C++）
热门推荐
03-22 7万+
某公司部门需要派遣员工去国外做项目。 现在，代号为 x 的国家和代号为 y 的国家分别需要 cntx 名和 cnty 名员工。 部门每个员工有一个员工号（1,2,3,......），工号连续，从1开始。 部长派遣员工的规则： 规则1：从 [1, k] 中选择员工派遣出去 规则2：编号为 x 的倍数的员工不能去 x 国，编号为 y 的倍数的员工不能去 y 国。 问题： 找到最小的 k，使得可以将编号在 [1, k] 中的员工分配给 x 国和 y 国，且满足 x 国和 y 国的需求。
RuntimeError: CUDA error: device-side assert triggered CUDA kernel
weixin_43918682的博客
11-17 545
报错：RuntimeError: CUDA error: device-side assert triggered CUDA kernel 看起来是 runtimeerror，指向性很模糊， 其实是 index溢出的问题， 比如你的loss_list,data,或者什么数组的 取值超出范围了， 特此记录，找了一天。。。。 哈！ ...
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
代码如下: import tornado.ioloop import tornado.web from tornado.httpclient import HTTPClient, AsyncHTTPClient class MainHandler(tornado.web.RequestHandler): # 同步 def get(self): ...
onnxruntime windows下cuda驱动文件
09-24
onnxruntime windows10下cuda驱动文件
Vue项目报错：Uncaught SyntaxError: Unexpected token <
10-17
主要介绍了Vue项目报错：Uncaught SyntaxError: Unexpected token <，在引入第三方依赖的 JS 文件时，遇到的一个问题，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
mulle-objc-runtime：:fast-forward_button:快速，可移植的Objective-C运行时，以100％用C11编写
02-04
mulle-objc-runtime：:fast-forward_button:快速，可移植的Objective-C运行时，以100％用C11编写
PyTorch 错误 RuntimeError: CUDA error: device-side assert triggered
flyfish
03-05 5万+
PyTorch 错误 RuntimeError: CUDA error: device-side assert triggered flyfish 具体提示如下 /pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [2,0,0] Assertion `t >= 0 && t < n_classe
RuntimeError 之 : CUDA error: device-side assert triggered
qq_41368074的博客
06-02 5117
我们在使用Pytorch时会遇到这种错误，这种错误往往是因为你的标签数据里出现了超出标签范围的值，比如说你要做100个动作的动作识别，那么你的标签范围应该是0,1,2.....99.一般我们采用从0开始的计数方式，但是如果你的标签数据里出现了诸如-1或100这样不再此范围中的数据时，便会报此错误。解决办法就是确认你的标签的范围，以及你产生标签的方式，是不是从1开始计数的。或者一切会导致标签出错的原因。 ...
runtimeerror: cuda error: device-side assert triggered
04-30
runtimeerror: cuda error: device-side assert triggered 是 CUDA（Compute Unified Device Architecture）在执行GPU计算时发生了错误的提示。在GPU计算过程中，如果程序发现了不符合预期的操作或者输入，就会触发assert（断言）来中断程序的执行并输出错误提示。 常见的导致runtimeerror: cuda error: device-side assert triggered的原因包括： 1. 内存问题 - 在GPU内存中分配了太多的空间，或在GPU上执行的程序没有释放GPU内存。建议检查代码中内存分配和释放的情况。 2. 计算问题 - 在GPU上执行的程序可能存在错误的计算，例如在浮点计算中做除以0等非法操作。建议检查代码中的计算逻辑。 3. 数据不连续或不规范的情况 - CUDA只支持连续的数据内存，如果数据内存不连续或不在正确的内存位置，会导致assert（断言）触发。 4. 版本不匹配 - CUDA编译器、CUDA驱动程序和CUDA运行库的版本必须匹配。如果版本不同，可能会导致运行错误。 为了解决这个问题，我们需要逐步排除上述可能导致 runtimeerror: cuda error: device-side assert triggered 异常的原因。首先检查代码中的内存管理，确保没有内存泄漏的问题。然后，检查计算逻辑是否正确，并保证传入的数据是规范的。最后，确保CUDA开发环境的版本匹配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值