python正确设置随机种子

import torch
import numpy as np
import random

# torch.mamual_seed(seed)  # 为CPU设置种子
torch.cuda.manual_seed(seed)  # 为GPU设置种子
torch.cuda.manual_seed_all(seed)  # 当有多张GPU时，为所有GPU设置种子
np.random.seed(seed)  # 为Numpy设置随机种子
random.seed(seed)  # 
# torch.backends.cudnn.deterministic = True
# 上面一行会大幅增加模型训练时间，除非要严格复现模型所有的训练过程，不然不使用。（表示返回的卷积算法是不是确定的）
# torch.backends.cudnn.benchmark=True
# 上面一行默认是False; 如果卷积网络结构不是动态变化的，网络的输入 (batch size，图像的大小，输入的通道) 是固定的，那么使用True会大幅加快训练速度

ref:
torch.backends.cudnn.benchmark ?!