pytorch计算出现CUDA 错误unspecified launch failure或者CUBLAS_STATUS_INTERNAL_ERROR when calling `cublasSgemm
Pytorch进行深度学习计算CUDA错误
你好! 使用pytorch计算一直出现unspecified launch failure,并不是一开始计算就出现,而是随机出现这个错误,有时能一直计算,而有时候一开始就不能,通过总结发现,一般网络节点数一多,就很容易出现这个问题。
1、刚开始各种重装CUDAtoolkit与torch还有torchvision,没用。
2、更新pytorch等到最新版本,发现还是没用,出现新的错误:CUBLAS_STATUS_INTERNAL_ERROR when calling `cublasSgemm
然而还是不知道怎么解决这个问题。
解决办法
折腾了好久,一直不知道怎么办,使用了包括网上好多人所说的更改Nsight Monitor中的True到False,还是没用。
甚至换了显卡都没用,最后打算放弃的时候,两台机子一样的,但是一台可以算,一台不可以,突然发现了一个差异:显卡驱动不同,发现新版本的显卡驱动才会出现这个问题。
右键进入NVIDIA 控制面板:
看上面的版本,现在新机子版本比较高才不能计算。亲测版本431.60与431.70均可以。下面给上显卡各版本的驱动下载地址:https://www.geforce.cn/drivers/beta-legacy