相同的神经网络模型，采用相同数据集训练，得到的权重参数是否相同？

转载自：相同的神经网络模型，采用相同数据集训练，得到的权重参数是否相同？

想要两次结果完全一样，很简单，要保证两个方面：

第一步，设置一样的seed

np.random.seed(cfg.RNG_SEED)
torch.manual_seed(cfg.RNG_SEED)
torch.cuda.manual_seed_all(cfg.RNG_SEED)
random.seed(cfg.RNG_SEED)

第二步，关闭cudnn，打开determinstic，假如你依旧想获得cudnn加速效果，可以这么整：

torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.enabled = True

之所以cudnn会在两次运行后得到不同的结果，本质上是因为：

浮点数运算没有结合性，即 (a+b)+c 很可能不等于 a+(b+c)。比如说你要把一堆数加起来，为了加快运算速度需要提高并行度，这时候各个数字相加的先后顺序就保证不了了，结果就会有一定的涨落。这里Faster Parallel Reductions on Kepler和这里Understanding and Using Atomic Memory Operations有对 AtomicAdd 的介绍，神经网络里的很多非确定性都是 AtomicAdd 造成的，比如 PyTorch 中有这些 Op：REPRODUCIBILITY。