RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling ‘cublasCreate(handle)【pytorch err】

RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling 'cublasCreate(handle)

---

问题描述

使用 pytorch 跑程序环境没变，换了代码就报了这个错误

RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling 'cublasCreate(handle)

---

尝试在CPU上运行

尝试使用CPU运行后发现是可以跑通的，没有提示什么问题，但是换成GPU跑就不行了。

找到问题

尝试减小训练使用的Batch Size 后，程序正常运行了。

也就是说程序使用的显存爆了，但是pytorch 在这里并没有直接提示 CUDA out of menory.
这也算是个小坑吧，还好之前跑了不少程序，知道环境没问题。要是搭建新环境后遇到了这个问题，可能还会以为是环境没装好的原因，那就费工夫了。