torch.manual_seed()
在神经网络中,参数默认是进行随机初始化的。如果不设置的话每次训练时的初始化都是随机的,导致结果不确定。
如果设置初始化,则每次初始化都是固定的。
实际上,计算机并不能产生真正的随机数,而是已经编写好的一些无规则排列的数字存储在电脑里,把这些数字划分为若干相等的N份,并为每份加上一个编号,编号固定的时候,获得的随机数也是固定的。
torch.manual_seed(1)用于设置随机初始化的种子,即上述的编号,编号固定,每次获取的随机数固定。
if args.seed is not None:
random.seed(args.seed)
torch.manual_seed(args.seed) #为CPU设置种子用于生成随机数,以使结果是确定的
torch.cuda.manual_seed(args.seed) #为当前GPU设置随机种子;
cudnn.deterministic = True
#如果使用多个GPU,应该使用torch.cuda.manual_seed_all()为所有的GPU设置种子。