caffe 训练模型 loss为很小的数字 且呈现周期性现象 的原因 (shuffle参数的作用)

最近在用caffe训练自己的SSD模型,结果发现loss会跳到一个几乎为0的数字,然后又会跳出来,之后一直出现周期性的现象,如图:

找了很多的原因,没在网上找到相同的问题,倒是有人提到产生数据集要采用shuffle参数,我自己也知道这个参数,但是没太在意。最终发现在生成数据集的时候,只要加上shuffle参数就可以了。

后来自己也思考了一下原因,可能是没有shuffle的情况下,连续几个batchsize内的数据高度的相似,导致训练梯度过小产生的问题。通过计算,发现一个epoch的周期刚好为880,跟loss表现出来的周期一致,更加确认了这个猜想。现在终于正常了。

 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值