余弦退火学习率+周期性重启

---

一、余弦退火学习率+周期性重启是什么？

余弦退火学习率是一种动态调整学习率的方法，它根据训练过程中的迭代次数，以余弦函数的形式逐渐减小学习率。这种方法可以使得模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率精细调整参数，从而避免过拟合和震荡，提高模型的泛化能力。

周期性重启则是另一种学习率优化策略，它通过在训练过程中定期重置学习率到较高的初始值，来打破训练过程中的局部最优解，并促进模型探索更广泛的参数空间。这种策略可以有效地防止模型过早收敛到次优解，提高模型的最终性能。

η

t

=

η

m

i

n

1

2

(

η

m

a

x

−

η

m

i

n

)

(

1

cos

⁡

(

T

c

u

r

T

i

π

)

)

\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{T_{cur}}{T_{i}}\pi))

ηt​=ηmin​+21​(ηmax​−ηmin​)(1+cos(Ti​Tcur​​π))
论文代码如下：
论文地址