RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx( handle, opa, op

再也不想写bug

已于 2024-10-12 09:36:32 修改

阅读量320

点赞数 2

文章标签： python

于 2024-10-12 09:35:46 首次发布

本文链接：https://blog.csdn.net/sans_yyb/article/details/142869304

版权

复现repvit代码的时候报错

RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)`

报错位置： Variable.execution_engine.run_backward(
tensors, grad_tensors, retain_graph, create_graph, inputs,
allow_unreachable=True, accumulate_grad=True)

已知我的环境python pytorch cuda timm版本都能正常使用，尝试了os.environ[‘CUDA_VISIBLE_DEVICES’] = '0’没什么用。

怀疑是显存不足。

把batch_size=2，num_workers=0，再跑train.py就可以了。