关于深度学习中 每次网络系训练完成后 loss或acc结果差异较大 预测结果差异也较大的情况

对于刚开始学习深度学习的人,可能都踩过这样的坑,即该次acc或loss与上次训练结果差距较大,或者说前面几次收敛了而本次没怎么收敛。造成这种结果的原因是什么呢?
了解cnn网络或者mlp的小伙伴都知道,权值在每次训练时初始值是随机给出的。由于随机性,导致了上面所说的结果。对此,我们有一下解决方案:
1.重复训练
即多次运行网络,然后运用统计方法学概括模型的性能并进行比较。
2.设置随机数字生成器的种子
A 如果使用的是keras框架 ,keras是从Numpy的随机生成器中获得随机元,因此,在代码的最上方添加如下代码

from numpy.random import seed
seed(1)

B 使用tensorflow作为深度学习的框架 ,tensorflow有自己的随机数生成器,该生成器也必须在Numpy随机生成器之后通过立马调用set_random_seed()函数来设置种子点。因此在代码最上方加如下语句:

from numpy.random import seed
seed(1)
from tensorflow import set_random_seed
set_random_seed(2)

对于方法1.重复训练,如果结果还是差异较大,那么就使用方法2吧,该方法每次结果肯定是不变的。

以上便是我个人的理解。如有不对的地方,欢迎指正!
参考:https://www.sohu.com/a/150686946_116235

  • 5
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值