【PyTorch报错已解决】CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb

已于 2024-05-05 17:38:23 修改
阅读量3.9k 收藏 12
点赞数 16
分类专栏： python基础语法 文章标签： pytorch
于 2024-05-05 17:22:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46234454/article/details/138469717
版权

报错

  • 报错信息为：发生异常: RuntimeError CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)。
    在这里插入图片描述

  • 尝试了但都无效的方法：

    • 在main函数中添加CUDA_LAUNCH_BLOCKING=1；
    • 重启环境；
    • 尝试更小的矩阵乘法（排除了显存不够或者内存不够的问题）；
    • 替换 @ 、 torch.mm、torch.matmul、torch.einsum等不同的矩阵乘法函数。

有效解决方法

  • 最后的解决方法是：将张量计算转移到cpu上，并进行调试。定位到真实的问题。
	device = torch.device('cuda:1'
最低0.47元/天 解锁文章
cuda_setup.add_log_entry(“WARNING: Compute capability ＜ 7.5 detected解决方案
weixin_43178406的博客
04-13 8万+
本文主要介绍了cuda_setup.add_log_entry(“WARNING: Compute capability ＜ 7.5 detected解决方案，希望能对使用GPU的同学有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案
热门推荐
weixin_43178406的博客
06-12 8万+
本文主要介绍了RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案，希望能对学习pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm 解决方案
dream6985的博客
10-14 2万+
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)` 解决方案
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb
echoesooo的博客
05-13 6680
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`报错解决方法概览
【CUDA报错】
最新发布
qq_57503027的博客
04-16 493
前面的问题都是跑grounding DINO这个项目出现的问题（原项目目前还没有开源训练代码），所以自己在写训练代码训练时，为了测试调试先选择了几个样本的数据集进行代码调试；因此一开始使用的单卡训练，出现了上述问题，并且按照前面的步骤解决了问题。但是可以确定的是确实是项目自定义CUDA内核在多卡运行出现了问题，在GPT和deepseek呆了好几天，仍然没有解决问题。具体是在github的Grounding DINO官方问题中找到了解决方案，虽然遇到的问题不完全相同，但是也是内存的问题。
解决Tensorflow error(CUBLAS_STATUS_EXECUTION_FAILED)报错问题
SpadgerZ的博客
10-27 2826
显卡CUDA tensorflow-gpu
Cuda报错：CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n,
H1356038698的博客
08-03 2877
cuda报错的一般解决办法
CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling ‘cublasSgemm’
qq_40974572的博客
06-16 4541
运行transformer模型是报错如题，1.减小batch size, 原因是调用cublas函数时会生成句柄，占用一定的内存，确保剩余内存够使用。2.gpu驱动版本和cuda、torch版本的匹配问题，低版本的gpu驱动，尝试换成11.0以下的cuda版本；高版本的驱动，可以换成11.0以上的cuda版本
pytorch报错：RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`
科研学习笔记！
07-13 7064
多GPU分布式运行pytorch程序报错：RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling ‘cublasCreate(handle)`
用stable_diffusion_webui遇到CUBLAS_STATUS_INVALID_VALUE when calling cublasGemmStridedBatchedExFix 报错
T_T___T_T的博客
02-27 1423
用stable_diffusion_webui遇到CUBLAS_STATUS_INVALID_VALUE when calling cublasGemmStridedBatchedExFix 报错
解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED
Jurio的博客
04-28 5071
解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED，总结四种可能原因及解决方法和链接
CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm 解决方法
qq_41726230的博客
08-22 8554
CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm 解决方法
深度学习RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa,
SuiJiangPiaoLiu的博客
10-20 1万+
在使用GPU跑程序时，前面加载数据是没问题的，后面relu()开始报错，错误为： **RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`** 多处参考解决方案，发现应该是CUDA、torch、torchvision、python等版本兼容问题。
【bug记录】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm
CSDN认证：国家亿级造梦带师
09-08 2万+
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx( handle, opa, op
qq_40077295的博客
02-21 1848
如果改用yolov7官方自带的yaml文件，在相同的环境下是可以正常训练的，所以我认为可能torch和cuda版本是匹配的，没啥问题。2.我认为是gpu显存不够，然后我将 tarin.py 里面的 batch-size 不断调小，发现值为1时，可以正常训练一次，然后又会报这个错误，所以我更加认为是gpu显存的问题。（之前是觉得有点麻烦，所以也一直没试试），最后也成功运行了。这是我在利用yolov7进行训练时出现的问题，然后网上查了一下，原因很多，但大多数是说pytorch和cuda版本不匹配。
CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm（...）
weixin_45597980的博客
09-14 708
虽然网络训练20类，数据集10类还是可以把训练跑起来的，这样的情况就不能把训练跑起来了。所以只要去修改全连接层的最后汇集的类的数量就可以解决这个问题。我在网络上和GPT上搜索都是说什么版本错误，这个一定要注意，不要觉得版本很容易出现问题，在Debug的时候，版本是最后考虑的事情。希望可以帮助到你，我也是有点脑壳抽风所以才会出现这样的问题，如果能对看到的你Debug有帮助我也很开心。记录一下我的比较离谱的错误，如果有相同的问题可以参考一下。部分，这个部分表示了网络训练出来的类的数量是小于数据集中的数量的。
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm
07-27
这个错误通常是由于CUDA计算库（CUBLAS）执行失败引起的。可能的原因包括： 1. GPU内存不足：如果您的模型或数据太大，超过了GPU的可用内存，就会导致此错误。您可以尝试减小批次大小或使用更小的模型来解决这个...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值