问题来源:每次训练的结果都会有差别;每次训练调用ai_lstm_prob.py文档
解决方案1:
multi_layer_cell=tf.nn.rnn_cell.DropoutWrapper(multi_layer_cell,output_keep_prob=keep_prob,seed=1234)
训练结果仍然不同
解决方案2:
在训练文档(ai_lstm_prob.py)的开头处中加入
from numpy.random import seed
seed(1)
from tensorflow import set_random_seed
set_random_seed(2)
训练结果仍然不同;
结论:还存在其他的随机源,比如说GPU训练产生的随机性,如下解释:
使用GPU产生的随机性
以上所有示例都假设代码是在一个CPU上运行的。
这种情况也是有可能的,就是当使用GPU训练模型时,可能后端设置的是使用一套复杂的GPU库,这些库中有些可能会引入他们自己的随机源,你可能会或者不会考虑到这个。
例如,有证据显示如果你在堆栈中使用了 Nvidia cuDNN,这可能引入额外的随机源( introduce additional sources of randomness),并且使结果不能准确再现