针对loos为0.69或2.3,保持不变问题。

最近,训练深度网络时出现一个问题,就是loss从模型训练开始就在某个值上下波动,保持不变。例如,2分类问题是0.69,10分类问题是2.3左右,因为刚开始都是用的mnist数据集。

训练的提示如下图:

对于为什么会出现这种问题,想知道原因的可以参考这篇博客,里面给出了原因以及从哪些方面检查问题。

而我,就讲下我的一个粗心小错误。如果,你检查你的数据集没问题,网络结构也正常。不妨,考虑是不是你初始化的权重(weights)不太合适

我出现这种现象时候的权重初始化,std=0.01。

weights_initializer=tf.truncated_normal_initializer(0.0, 0.01)

我然后将上面的参数,改std=0.1时,网络就正常训练。

weights_initializer=tf.truncated_normal_initializer(0.0, 0.1)

如果,真的出现上面现象,而有找不到其他的问题,不妨考虑一下,是不是权重参数不合适造成的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值