问题:
深度学习中,训练模型时实验参数设置但结果不同(部分论文最优结果无法复现)
实验参数包括: 数据集,train/test划分,权重初始化等
可能的原因:Dropout的存在
python、numpy、torch随机种子没有固定
数据预处理,数据增强中采用了概率。若没有设置固定的随机种子,结果可能不同。例如常 用数据增强库albumentations就采用了Python的随机产生器。
数据集顺序被打乱
随机种子设定方式:pythonimport random
random.seed(1) # 生成同一个随机数;
# 如果不设置则python会根据系统时间随机生成一个,之后生成的随机数不同
2. numpyimport numpy as np
np.random.seed(1) # 生成同一个随机数;
# 如果不设置则python会根据系统时间随机生成一个,之后生成的随机数不同
3. torchtorch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
# 使用PyTorch时,如果希望通过设置随机数种子,在gpu或cpu上固定每一次的训练结果,则需要在程序执行的开始处添加以下代码:
def setup_seed(seed):
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed)
random.seed(seed)
torch.backends.cudnn.deterministic = True
# 设置随机数种子
setup_seed(20)
#随机数种子seed确定时,模型的训练结果将始终保持一致
# 预处理数据以及训练模型
Ref:Pytorch随机种子设置或固定_微信号:Custom-Software-CSDN博客_pytorch固定随机种子blog.csdn.net