torch.backends.cudnn.benchmark和cudnn.deterministic

当使用新的尺度参数的时候，cuDNN 自动从几种算法里面寻找最适合当前配置的高效算法，之后所有相同参数的数据都采用这个算法。但是由于噪声等造成即使在同一个机器也可能会选择不同的算法。

因此方便复现、提升训练速度就：

torch.backends.cudnn.benchmark = False

不需要复现结果、想尽可能提升网络性能：

torch.backends.cudnn.benchmark = True

虽然通过torch.backends.cudnn.benchmark = False限制了算法的选择这种不确定性，但是由于，算法本身也具有不确定性，因此可以通过设置：
torch.backends.cudnn.deterministic = True

保持可复现性：

import numpy as np
np.random.seed(0)
torch.manual_seed(0)
torch.cuda.manual_seed_all(0)

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

https://pytorch.org/docs/stable/notes/randomness.html