torch.manual_seed生成随机数种子的作用

在神经网络中，参数默认是进行随机初始化的。如果不设置的话每次训练时的初始化都是随机的，导致结果不确定。如果设置初始化，则每次初始化都是固定的。

设置随机种子是为了确保每次生成固定的随机数，这就使得每次实验结果显示一致了，有利于实验的比较和改进。

if args.seed is not None:
    random.seed(args.seed)
    torch.manual_seed(args.seed)  # 为CPU设置种子用于生成随机数，以使得结果是确定的
    torch.cuda.manual_seed(args.seed)  # 为当前GPU设置随机种子；
    cudnn.deterministic = True

#如果使用多个GPU，应该使用torch.cuda.manual_seed_all()为所有的GPU设置种子。