【解决方案】RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE

RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`

---

• 方法零：先设为 cpu device 检查代码是否存在维度不匹配等问题

• 方法一：卸载虚拟环境中的 CUBLAS 相关包(如有) pip uninstall nvidia-cublas-cu11

  • 如果执行后出现 Skipping nvidia-cublas-cu11 as it is not installed. 说明该方法无效，继续

• 方法二：对于多用户使用的服务器，可尝试在终端执行 unset LD_LIBRARY_PATH

• 方法三：利用 .device 检查模型和变量等是否在同一个 cuda device

• 方法四：更新 PyTorch 等的版本，以下为我测试可用的配置

  ################################## 注: 以下为查看 PyTorch, cuda, cudnn 等版本的具体方法
  >>> import torch
  >>> torch.__version__
  '2.2.1+cu121'
  >>> torch.version.cuda
  '12.1'
  >>> torch.backends.cudnn.version()
  8902
  

  • CUDA 是 NVIDIA 推出的用于自家 GPU 的并行计算框架，只能在 NVIDIA 的GPU 上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥 CUDA 的作用。
  • cuDNN 是 NVIDIA 打造的针对深度神经网络的加速库，是一个用于深层神经网络的 GPU 加速库。如果你要用 GPU 训练模型，cuDNN 不是必须的，但是一般会采用这个加速库。

---