【pytorch小记录】生成随机数种子

使用随机数种子的原因

在神经网络中，参数默认是随机初始化的。如果不设置的话，每次训练时的初始化参数都是随机的，导致结果不确定。如果设置初始化，则每次初始化值都是固定的。

实际上，计算机并不能产生真正的随机数，而是已经编写好的一些无规则排列的数字存储在电脑里，把这些数字划分为若干相等的N份，并为每份加上一个编号，编号固定的时候，获得的随机数也是固定的。

使用原因：在需要生成随机数据的实验中，每次实验都需要生成数据。设置随机种子是为了确保每次生成固定的随机数，这就使得每次实验结果显示一致了，有利于实验的比较和改进。

代码

def setup_seed(seed):  
    torch.manual_seed(seed)  # 为当前的cpu设置种子，生成随机数
    # torch.cuda.manual_seed(seed)  # 为当前的gpu设置随机种子
    torch.cuda.manual_seed_all(seed)  # 当有多块gpu时，为所有gpu设置随机种子
    
    # 在Numpy内部也有随机种子，当要使用numpy中的随机数时，可通过如下方式固定
    np.random.seed(seed)
    random.seed(seed)
    
    torch.backends.cudnn.deterministic = True  # 设置每次返回的卷积算法一致，保证每次运行结果一样
    
    # torch.backends.cudnn.enabled=True # pytorch使用GPU加速，可改为False

使用方法：在训练前就设置随机数种子，如：

setup_seed(0)

参考链接