本文总结了调整学习率（Learning rate）和正则化参数（Regularization parameter λ）的经验。学习率的选择通常在1e-4到1e-1之间，简单模型可使用较大值。文章提到了通过增大batch size来维持学习率的策略，以及bold driver算法以动态调整学习率。对于正则化参数，建议先确定学习率，然后逐步调整λ以找到最佳的验证精度。
Learning rate
最优值从1e-4到1e-1的数量级都碰到过，原则大概是越简单的模型的learning rate可以越大一些。
[https://blog.csdn.net/weixin_44070747/article/details/94339089]
其它：
增大batchsize来保持学习率的策略
[抛弃Learning Rate Decay吧 https://www.sohu.com/a/218600766_114877]
learning rate adaptation
bold driver algorithm \textcolor{orange}{\text{bold driver algorithm}} bold driver algorithm: after each epoch, compare the network’s loss L(t) to its previous
最低0.47元/天 解锁文章
824
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
