numpy.random是产生随机数用的,但用了seed()后,即指定了某个随机序列,seed(int),int指定了序列的起始数。
作为深度学习小白,在我的深度学习训练过程中,会出现的一个现象是相同的程序在每次运动时会出现不同的效果,训练时间也会不同,就是因为在训练过程中有随机值导致。
总结了以下原因:
1、一些参数如网络权重的初始化参数的随机性,导致初值不同,会影响训练速度
2、最优化也可能具体随机性,比较随机优化
3、程序运行一次的训练次数不够
首先,想到的要解决的是否是训练次数不够?提高足够高的训练次数,是否即可让训练结果唯一确定
其次,是固定随机数,即每次程序运动时采用相同的随机数序列,numpy和tensorflow各有其随机数算法,所以尝试通过设置numpy随机数生成器的seed以及tensorflow中的seed来实现
NumPy中:
from numpy.random import seed
seed(1) #数是多少并不重要
因为是设置随机数生成器的seed,所以代码应放在程序最前面,效果最好,以防止seed之前用到随机数。
Tensorflow中:
from tensorflow import set_random_seed
set_random_seed(2) #同样,数是几并不重要
代码也应该放在整个程序文件前面
所以在程序文件最前面加入这四行代码