Deterministic Pytorch： pytorch如何保证可重复性

 

       要想整个模型是确定性的，我们需要设定好随机种子，这样当程序运行到具有random的模块时，由于伪随机的种子是相同的，那么随机得到的结果也是相同的。需要设定的随机种子如下。

def set_seed(self, seed=0):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed) #为CPU设置种子用于生成随机数，以使得结果是确定的
    torch.cuda.manual_seed(seed) #为当前GPU设置随机种子；
    torch.cuda.manual_seed_all(seed) #如果使用多个GPU，为所有的GPU设置种子。
    torch.backends.cudnn.deterministic = True # CPU和GPU结果一致
    torch.backends.cudnn.benchmark = False

cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用

如果设置为torch.backends.cudnn.enabled =True，说明设置为使用使用非确定性算法

然后再设置：

torch.backends.cudnn.benchmark = true

那么cuDNN使用的非确定性算法就会自动寻找最适合当前配置的高效算法，来达到优化运行效率的问