关于云服务器上pytorch固定随机种子无法复现结果的问题

当我在自己的笔记本电脑上的时候，用py文件写的代码，用：

import numpy
import torch
import random

seed = 666
random.seed(seed)
numpy.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
os.environ['PYTHONHASHSEED'] = str(seed)

这样的代码，就能保证结果可复现了。

但是当在ipynb文件里的时候，好像还是没法固定，每次跑出来结果还是不一样，当时就很懵，不知道啥原因，但是问题不大，用py文件就行了。

然后最近在云服务器上用.py跑的时候，神奇的事情发生了，用了上面代码固定随机种子，第一个epoch的结果可以完全复现，然后莫名其妙开始飘了，导致后面的epoch结果都不一样了，固定不住啊。

后来搜索了一下发现，较新版本的pytorch有自动检测是否可复现的功能，就是说如果你的代码结果是不可复现的他就会报错，并且提示你要怎么该才能让他可以复现，简而言之就是加上：

torch.use_deterministic_algorithms(True)

然后你运行，就可以知道你的结果是否可以复现了。

然后我在服务器上试了一下，果然报错了，然后照着报错加了一行：

os.environ['CUBLAS_WORKSPACE_CONFIG']=':4096:8'

好了，至此结果完全可以复现，不会乱飘了。

所以我用到的完整代码如下：

import numpy
import torch
import random

seed = 666
random.seed(seed)
numpy.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
os.environ['PYTHONHASHSEED'] = str(seed)
os.environ['CUBLAS_WORKSPACE_CONFIG']=':4096:8'
torch.use_deterministic_algorithms(True)

参考：
pytorch如何确保 可重复性/每次训练结果相同(固定了随机种子，为什么还不行)？