在训练神经网络时,参数初始化使用了随机数,但是希望代码在不同时间或者不同的机器上运行能够得到相同的随机数,以至于能够得到相同的结果,那么久需要到设置随机函数的seed 参数,对应的变量也可以跨session生成相同的随机数。
在代码前加入如下这一段代码即可固定神经网络每次初始化的参数:
# 以下是 Python 在一个明确的初始状态生成固定随机数字所必需的。
np.random.seed(12345)
# 强制 TensorFlow 使用单线程。
# 多线程是结果不可复现的一个潜在因素。
# 更多详情,见: https://stackoverflow.com/questions/42022950/
session_conf = tf.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)
from keras import backend as K
# `tf.set_random_seed()` 将会以 TensorFlow 为后端,
# 在一个明确的初始状态下生成固定随机数字。
# 更多详情,见: https://www.tensorflow.org/api_docs/python/tf/set_random_seed
tf.set_random_seed(1234)
sess = tf.Session(graph=tf.get_default_graph(), config=session_conf)
K.set_session(sess)
在构建完模型后,可以使用如下代码输出网络层的权重,以便确定每次初始化的参数都是相同的:
weight_gru_1, bias_gru_1 = model.get_layer('dense_2').get_weights()
print(weight_gru_1)
print(bias_gru_1)