在训练两层网络来给cifar10分类时,我尝试着print出了每批训练后的w1,w2的值,发现w1,w2很难像我想象中的稳定下来,都是几倍几倍的变,这样很难训练出一个稳定的模型。
学习率衰减很好的解决了这个问题,在批训练完成后,调整learning rate的值,使之变小,那么w1,w2每次改动的值也就会变小,w1,w2最终就会趋于稳定。
目前看来,指数衰减比较强,在批训练完后,加上
learning_rate *= pow(learning_rate_decay,t%100)
(这里t是我定义的次数,训练100次调整一次learning rate)