关于如何选择训练模型中的随机种子

寻找办法1：

torch.manual seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision

 参考论文：https://arxiv.org/abs/2109.08203v1

于是设置随机种子为3407，但是并无效果；

寻找办法2：

 参考文章：【调参侠的修炼笔记2】随机种子Seed的讲人话解释 - 知乎

补充知识：

1、随机种子及其作用？

随机种子的作用是固定模型训练过程中所产生的随机数，便于模型在复现的时候可以最大程度地逼近描述效果。

真正的随机数是物理意义上真是产生的，物理意义上的随机数具有独立性和均匀性，而且难以寻找结果产生的规律。对于机器控制的随机过程而言，参与计算的“随机数”，也就是伪随机数，是通过一定规律产生的，即过程可控的，这种规律叫做随机数生成器。

 2、为什么固定了随机种子值，但依旧存在难以完全复制效果的情况？

模型训练不只是有随机数这一个随机过程，例如模型使用SGD等优化算法，这些方法本身带有随机性，每次迭代更新都是随机采样batch size个样本的平均梯度来更新全职。虽说随机种子一定程度上降低了随机性，但由于这些方法本身敏感，结果的细微差别依旧难以避免。

3、随机种子如何进行设置？

随机种子的设定对大部分模型不会产生特别大的实质性影响，神经网络更多会和迭代次数、学习率等相关。但对于预训练模型而言，非常依赖参数的随机初始化过程，那么对于这样的场景，随机种子的设定就显得非常重要。

最后还是没有解决掉这个问题，后来采取的方式是，根据文本嵌入的不同调整了随机种子，确实能在部分数据集复现达到原论文精度。