LeoLee77的博客

原创 Pytorch Dataloader中的随机数种子对训练结果的影响

将Dataloader看作一个新的随机函数F，没有特殊定义的话，它内部是worker-independent的，其内部的随机数序列由F被调用时从取来的决定，而这个取数过程会在Global的的随机序列中消耗两次。Dataloader在工作时对随机函数的使用不会影响main函数中其他random函数的状态。总之，在训练网络时注意的点就是如果在其他地方改动了torch.random的随机序列，导致Dataloader在调用时的随机状态不一样了，那么训练结果就会变掉。