学习率调整策略———————学习笔记
由于刚开始训练时,模型的权重(weights)是随机初始化的,此时若选择一个较大的学习率,可能会造成模型的不确定性,选择Warmup预热学习率的方式,可以使得开始训练的几个epoch或者一些step内学习率较小,在预热阶段的小学习率下,模型在训练的过程中慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快,模型效果更佳。下面是学习率预热的代码实现,为部分代码。在进行深度学习时,学习率的调整策略是我们躲不开的问题,那么咋样才能设计才能找到比较适合的学习率呢?
原创
2024-09-22 16:31:25 ·
298 阅读 ·
0 评论