【个人思考】深度学习模型稳定可复现，设定随机种子大全

深度学习模型稳定可复现
深度学习这一块奥，稳定性奥，必须拿捏的死死的奥。

深度学习的一个项目，其中的随机性会非常的大

1 随机生成的模型参数，
2 可能是随机选取的训练样本顺序
3 随机dropout

以上等等，会使得模型具有一定的随机性，其实也并非完全算作坏事
因为模型性能的抖动能够让模型性能更高一些，可以报告跑出来的最高性能，是吧。
但是在某些阶段时，我们必须使得性能稳定，这样才可以明显的对比。
比如：

1 调整一些超参数
2 改进模型结构
3 优化算法

等等上述情况时候，会需要稳定模型。因为改进模型结构，可能就提升了0.5%-1%的性能，但是模型本身会有2%的性能抖动（更有甚者会有5%-10% FaceNet这种训练embedding的方式抖动会更大，triplet semihard loss详解，懂得都懂）。
本身具有抖动，在实验的时候，就不一定能验证出改进的有效性了。
大家不必笑，模型的改进往往就是这0.5%， 0.5%的累积
举个例子现在做目标检测任务的，每次在sota上提升个2%，就已经非常了不得了。

所以建议大家每次将模型固定好，进行优化的调整，确定最终模型之后，再进行随机化或者设定新的随机种子，这样可以再把模型性能抖动的更高。

当然其实现在的这么大的深度模型，很少存在性能抖动这么厉害的情况，但是相对小的模型上，情况还是很普遍的

下面关于tensorflow, pytorch, keras, random, numpy等库，给大家一些代码࿰