Pytorch 读取参数错误 RuntimeError: cuda runtime error (10) : invalid device ordinal

很久没发博客了，但是今天在Pytorch的参数读取过程中遇到了一个比较罕见的bug。

RuntimeError: cuda runtime error (10) : invalid device ordinal at torch/csrc/cuda/Module.cpp:87

找了很久没有解决方案，StackOverflow和pytorch的issues上也没有人遇到相似的问题。最后只能亲亲自上阵，逐步调试的时候从底层看到了问题，于是在这里记录一下 希望能帮到他人。

-

1. 问题场景
我在服务器上训练了一个模型，把它保存的参数拿到本地机上load进行结果分析的时候，发生了这个错误。在Load参数的时候，提示我cuda找不到了。详细点的报错信息如下：

THCudaCheck FAIL file=torch/csrc/cuda/Module.cpp line=87 error=10 : invalid device ordinal
Traceback (most recent call last):
  File "/home/sw/Shin/Codes/DL4SS_Keras/Torch_multi/main_run_multi_selfSS_subeval.py",