保存模型后无法训练_Pytorch设置随机数种子，使训练结果可复现。

在使用PyTorch时，如果希望通过设置随机数种子，在gpu或cpu上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：

def setup_seed(seed):
     torch.manual_seed(seed)
     torch.cuda.manual_seed_all(seed)
     np.random.seed(seed)
     random.seed(seed)
     torch.backends.cudnn.deterministic = True
# 设置随机数种子
setup_seed(20)
# 预处理数据以及训练模型
# ...
# ...

随机数种子seed确定时，模型的训练结果将始终保持一致。

---

以下记录一些特殊的关于随机化的问题：

1.关于nn.SLTM的问题

实验中发现，如果设置了nn.LSTM的dropout参数，是无法通过随机种子的固定来复现实验结果的。这似乎是一个cuDNN的bug，在此记录一下。

相关讨论见nn.LSTM gives nondeterministic results with dropout and multiple layers。

示例如下：

lstm = nn.LSTM(input_size = 256, 
               hidden_size = 128, 
               num_layers = 1, 
               batch_first = True, 
               dropout = 0.5 )

2.关于nn.Embedding()的问题

在数据预处理阶段使用了随机初始化的nn.Embedding()，并将其通过持久化方式pickle保存了下来。

再次使用它时，通过pickle.load()读取，即使固定了随机数种子，此时读取到的nn.Embedding()中的weight与当初保存下来的weight是不同的。

暂不清楚原因。