Pytorch设置随机种子【结果能复现】

最近训练只加了如下，发现每次的结果有点不一样。

torch.manual_seed(1234)

随即看了一下这方面的资料。
一般来说需要设置如下：
1.CuDNN
在CuDNN后端运行时，必须设置另外两个选项：

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

警告
影响精度在小数点后几位，可以不修改，确定性模式可能会对性能产生影响，具体取决于您的型号。

2. Pytorch

torch.manual_seed(seed)            # 为CPU设置随机种子
torch.cuda.manual_seed(seed)       # 为当前GPU设置随机种子
torch.cuda.manual_seed_all(seed)   # 为所有GPU设置随机种子

3. Python & Numpy
如果读取数据的过程采用了随机预处理(如RandomCrop、RandomHorizontalFlip等)，那么对python、numpy的随机数生成器也需要设置种子。

import random
import numpy as np
random.seed(seed)
np.random.seed(seed)

总结
可以写到一个函数

def set_seed(seed):
    random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
  	torch.backends.cudnn.enabled = False  

参考：
https://blog.csdn.net/hyk_1996/article/details/84307108
https://zhuanlan.zhihu.com/p/76472385