Torch.manual_seed(3407) is all you need【浅读】

https://arxiv.org/abs/2109.08203

摘要

在本文中，我研究了随机种子选择在使用流行的计算机视觉深度学习架构时对准确性的影响。我在CIFAR 10上扫描了大量的种子(多达104个)，我也在Imagenet上扫描了较少的种子，使用预训练的模型来研究大规模的数据集。结论是，即使差异不是很大，也很容易找到一个表现比平均水平好得多或差得多的异常值。

作者总结的一些问题

关于种子的选择，分数的分布是怎样的?
不同种子时的精度分布比较尖，这意味着结果相当集中在平均值附近。一旦模型收敛，这个分布是相对稳定的，这意味着一些种子本质上比其他种子好。
是否存在black swans，即产生完全不同结果的种子?

是的。在对104个种子的扫描中，我们获得了接近2%的最大和最小精度之间的差异，这超过了计算机视觉社区通常使用的重要阈值。
在更大的数据集上进行预训练能减轻由种子选择引起的可变性吗?
它当然减少了由于使用不同的种子而产生的变化，但它并没有减轻这种变化。在Imagenet上，我们发现最大和最小精度之间的差异约为0.5%，这被社区普遍认为是该数据集的显著差异。

我的看法

这篇文章就是说随机种子对其精度也有很大的影响，但是论文里好像并没说如何找到那个最好的种子。