PyTorch——消除随机性

参考链接

1. https://pytorch.org/docs/stable/notes/randomness.html
2. https://blog.csdn.net/zxyhhjs2017/article/details/91348108
3. https://zhuanlan.zhihu.com/p/141063432?from_voters_page=true
4. https://zhuanlan.zhihu.com/p/73711222

实验结果的随机性

算法在运行过程中会存在许多的随机性，比如参数的随机初始化等，这会导致每次运行的结果不能完全一样，导致实验结果不可复现。

随机数生成器的随机性

这应该是大家比较熟悉的。主要包括Python自带的random的随机数生成器，PyTorch的随机数生成器和其他的库，如numpy，的随机数生成器。为它们设置统一的随机种子即可。

seed = 2021
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)

cuDNN库的随机性

主要包括torch.backends.cudnn.benchmark和torch.backends.cudnn.deterministic。

torch.backends.cudnn.benchmark

设置这个flag可以让内置的cuDNN的auto-tuner自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。但是由于噪声和不同的硬件条件，即使是同一台机器，benchmark都可能会选择不同的算法。为了消除这个随机性，只需要disable它即可。

torch.backends.cudnn.benchmark = False

torch.backends.cudnn.deterministic

CUDA中的一些运算，如对sparse的CUDA张量与dense的CUDA张量调用torch.bmm()，它通常使用不确定性算法。为了避免这种情况，就要将这个flag设置为True，让它使用确定的实现。

torch.backends.cudnn.deterministic = True

总结

在代码前加上下面这几句，就可以消除结果的随机性了。

seed = 2021
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False