rnn训练随机问题

问题来源:每次训练的结果都会有差别;每次训练调用ai_lstm_prob.py文档

解决方案1:

multi_layer_cell=tf.nn.rnn_cell.DropoutWrapper(multi_layer_cell,output_keep_prob=keep_prob,seed=1234)
训练结果仍然不同

解决方案2:

在训练文档(ai_lstm_prob.py)的开头处中加入
from numpy.random import seed
seed(1)
from tensorflow import set_random_seed
set_random_seed(2)
训练结果仍然不同;

结论:还存在其他的随机源,比如说GPU训练产生的随机性,如下解释:

使用GPU产生的随机性

以上所有示例都假设代码是在一个CPU上运行的。

这种情况也是有可能的,就是当使用GPU训练模型时,可能后端设置的是使用一套复杂的GPU库,这些库中有些可能会引入他们自己的随机源,你可能会或者不会考虑到这个。

例如,有证据显示如果你在堆栈中使用了 Nvidia cuDNN,这可能引入额外的随机源( introduce additional sources of randomness),并且使结果不能准确再现

 


 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值