又看不懂报错了？CUDA_LAUNCH_BLOCKING=1让程序 ‘说人话‘

最新推荐文章于 2025-01-05 22:10:55 发布
最新推荐文章于 2025-01-05 22:10:55 发布
阅读量7.8w 收藏 94
点赞数 47
分类专栏： 深度学习 文章标签： 深度学习 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/121155260
版权
当编写深度学习代码并遇到GPU错误时，由于多种track可能产生相同的抽象报错信息，使得问题排查变得困难。通过设置CUDA_LAUNCH_BLOCKING为1，可以阻止程序异步执行，从而获取详细的错误跟踪。此外，将计算移到CPU上运行（.to('cpu')）也能帮助得到更明确的错误信息。这两个步骤能有效改善报错的可读性，便于程序员快速定位和解决问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有时候写代码，尤其是深度学习使用gpu的代码，报错很反人类，十几种类型的track有可能吐出来的报错信息都是一样的，而且大多很抽象。。。

在这里插入图片描述

两步让程序报错说人话：

1. CUDA_LAUNCH_BLOCKING=1

程序开头加入：

import os

os.environ['CUDA_LAUNCH_BLOCKING'] = '1'

2. 用cpu运行

把.to('cuda')变成.to('cpu')就能获得正常的track

Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案
weixin_43178406的博客
10-31 10万+
本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案，希望能对使用Qwen2-VL的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【yolo系列：运行报错RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors m】
weixin_47869094的博客
09-06 6447
使用yolov7训练数据集，但是训练到一半就开始停止了并且报错。
报错 For debugging consider passing CUDA_LAUNCH_BLOCKING=1
zcy的博客
07-06 1万+
原因：选择GPU设备时torch没有识别到。
CUDA_LAUNCH_BLOCKING=1的作用
思念殇千寻的博客
07-06 2万+
　　参考资料： 　　[CUDA开发文档] 　　今天在调试Pytorch代码的时候遇到了下面的报错， 　　RuntimeError: CUDA error: XXX [此处为各种cuda error] 　　CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace belo...
CUDA_LAUNCH_BLOCKING=1
mumuximmmmmm的博客
05-13 3647
解决CUDA_LAUNCH_BLOCKING=1报错
一行代码解决PyTorch训练模型时突然出现的For debugging consider passing CUDA_LAUNCH_BLOCKING=1报错
飞机火车巴雷特的博客
01-20 4万+
RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
CUDA_LAUNCH_BLOCKING=1.错误
热爱分享，热爱记录
11-02 4691
模型分类输出的分类数错啦。
解决RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors...CUDA_LAUNCH_BLOCKING=1
热门推荐
AI小白炼金术师
04-30 8万+
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
slurm集群执行作业出现RuntimeError: No CUDA GPUs are available、CUDA_LAUNCH_BLOCKING=1等问题。
Ryan0828的博客
03-06 1828
解决了linux集群利用slurm工具在初期跑torch代码遇到的gpu不可用相关问题。
Python报错：cuDNN error: CUDNN_STATUS_NOT_INITIALIZED 和 CUDA_LAUNCH_BLOCKING=1.
weixin_43062964的博客
09-02 464
最近在3090服务器上搭建了一个环境用于跑Padim的程序，发现自己制作的数据集跑不了,期间遇到了很多bug。
CUDA：主导GPU计算的革命
05-22
CUDA：主导GPU计算的革命 对CUDA在计算方面的讲解
从Core Dump中提取CUDA的报错信息
OneFlow深度学习框架
08-30 4147
近期，Meta AI团队在生产PyTorch AI模型时遇到了一个难题。这一问题由CUDA非法内存访问引起，号称集结了Meta全公司最牛的AI工程师才搞定，这篇博客记录了他们使用CUDA的core dump来确定报错位置所使用的技巧和实践。
【Python】一文向您详细介绍 os.environ[‘CUDA_LAUNCH_BLOCKING‘]
创作高质量博文，分享知识，共同进步！
06-07 1770
🔥 独家揭秘！一文掌握`os.environ['CUDA_LAUNCH_BLOCKING']`🚀 🚀 还在为CUDA编程中的异步执行和同步调试烦恼吗？一文带您深入探索`os.environ['CUDA_LAUNCH_BLOCKING']`，了解其在CUDA编程中的关键作用！从异步执行原理到同步调试技巧，再到其他CUDA环境变量的妙用，让您轻松掌握CUDA编程的精髓！#CUDA编程 #Python环境变量 #异步执行 #同步调试
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
02-02 2623
vits2。
报错For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
xiao_lxl的专栏
11-23 2831
报错For debugging consider passing CUDA_LAUNCH_BLOCKING=1.问题排查及解决方案
comfyui 运行报错CUDA_LAUNCH_BLOCKING=1
勇往直前！
02-23 1562
下载下来还是非常容易的，运行也同样比较容易，但再运行节点到生成图片的时候，会出错。按照上面的方法后，可以正常了。enjoy next。
【问题】程序中已经设定了在cuda:6上面进行训练，但是一直显示For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
qq_58011370的博客
05-05 368
即：我已经设置了在cuda:6上面运行，但是一直显示的是程序运行在cuda:1上面。参数将模型参数映射到一个现有的设备上。
yolov7报错：报错 For debugging consider passing CUDA_LAUNCH_BLOCKING=1
qq_44421796的博客
06-24 860
真的是烦死了，一上午时间，中午也没吃饭，一直在改这个破错误！加一句torch.cuda.device_count()代码。原因：选择GPU设备时torch没有识别到。
【Python知识宝库】 os.environ[‘CUDA_LAUNCH_BLOCKING‘] 的详细介绍及使用
鸽芷咕的博客
01-05 856
在深度学习与GPU计算的领域中，Python作为主要的编程语言，搭配CUDA工具包来充分利用GPU的强大算力。而`os.environ['CUDA_LAUNCH_BLOCKING']`这一环境变量在优化和调试CUDA相关代码时扮演着重要角色。本文将深入探讨其使用方法、原理及实际应用场景。
我是一个电脑小白，电脑是windows系统，rxt 5070ti显卡，在使用comfyui秋叶安装包时候，出现报错：CLIPTextEncode CUDA error: no kemel image is available for execution on the deviceCUDA kemel errors might be asynchronously reported at some other APl call, so the stacktrace below might be incorrectFor debugging consider passing CUDA LAUNCH BLOCKING=1Compile with “TORCH USE CUDA DSA` to enable device-side assertions.应该如何解决，尽量简单或者傻瓜式指导，用语口语化一些，要不听不懂
最新发布
03-22
### 问题分析 在Windows系统上使用ComfyUI秋叶安装包时遇到CUDA错误问题，可能的原因涉及以下几个方面： 1. **显卡驱动版本不匹配**：RTX 5070Ti的驱动版本未更新到支持当前CUDA Toolkit所需的最低版本[^3]。 2. **CUDA Toolkit版本冲突**：安装的CUDA Toolkit版本与PyTorch或其他依赖库的要求不符。 3. **cuDNN版本不兼容**：cuDNN作为CUDA的重要组件之一，其版本也需要与CUDA Toolkit保持一致。 4. **环境变量配置错误**：CUDA路径未正确添加到系统的环境变量中，可能导致CLIPTextEncode无法调用CUDA功能。 以下是具体解决方案及其操作步骤说明。 --- ### 显卡驱动升级 确保本地NVIDIA RTX 5070Ti显卡驱动已更新至最新稳定版。访问[NVIDIA官方驱动下载页面](https://www.nvidia.com/Download/index.aspx)，输入设备型号并下载对应的驱动程序。完成安装后重启计算机以生效。 --- ### CUDA Toolkit安装 根据`torch.cuda.is_available()`返回值判断是否存在CUDA初始化失败的情况。如果为`False`，通常是因为CUDA Toolkit版本与PyTorch版本不匹配所致。建议按照以下流程重新安装合适的CUDA版本： #### 步骤描述 1. 访问[CUDA Toolkit Archive](https://developer.nvidia.com/cuda-toolkit-archive)查找适用于目标PyTorch版本的CUDA Toolkit。 2. 下载完成后运行安装向导，默认勾选“仅安装CUDA Toolkit”，忽略其他选项（如NSight工具集）以减少冗余文件占用磁盘空间。 3. 验证安装成功与否可通过命令提示符执行如下测试脚本： ```python import torch print(torch.version.cuda) ``` 上述代码应输出类似于`11.8`这样的字符串表示所使用的CUDA版本号。 --- ### cuDNN集成 cuDNN需手动获取并与现有CUDA目录整合在一起。前往[NVIDIA cuDNN Download Page](https://developer.nvidia.com/cudnn)，登录账户后依据先前选定的CUDA Toolkit版本挑选相适应的cuDNN压缩包。解压之后复制其中的内容覆盖原有CUDA安装位置下的子文件夹结构即可。 --- ### 环境变量设置 确认PATH环境变量包含了指向CUDA bin目录的具体路径。例如对于默认安装路径而言可能是类似下面的形式： ```plaintext C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin ``` 将其加入全局环境变量列表之中以便任何地方都能顺利加载动态链接库资源。 --- ### ComfyUI特定调整 由于ComfyUI基于Python构建而成，并且高度依赖GPU加速特性实现高效推理运算过程，在前述基础准备工作全部就绪的前提下还需额外注意几点事项： - 检查项目根目录下requirements.txt定义的各项依赖项是否均已满足； - 如果仍然存在异常现象，则尝试切换不同的PyTorch预编译二进制镜像地址来源，比如国内清华开源软件镜像站点提供更快速稳定的下载体验； - 对于某些特殊场景还可能涉及到修改源码部分逻辑适配实际硬件条件差异等问题。 最终目的是让整个框架能够充分利用底层计算能力达成预期效果表现水平。 --- ### 示例验证代码片段 为了进一步排查潜在隐患可编写一段简单的验证性质的小型应用程序用于检测整体链路连通状况如何： ```python import torch from transformers import CLIPTokenizer, CLIPTextModel device = 'cuda' if torch.cuda.is_available() else 'cpu' print(f'Device set to {device}') tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14") model = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14").to(device) text_input_ids = tokenizer(["a photo of a cat"], padding="max_length", max_length=77, return_tensors="pt")["input_ids"].to(device) output = model(text_input_ids)[0] print(output.shape) ``` 正常情况下这段代码应该能够在指定设备上顺利完成前向传播任务而不会抛出任何致命性的运行期错误消息。 ---
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值