余弦退火算法作图理解（python）

model = MyBertModel()
optimizer = optim.AdamW(model.parameters(),lr=1) #一阶动量和二阶动量都用起来，就是 Adam 了——Adaptive + Momentum。
scheduel = CosineAnnealingWarmRestarts(optimizer,T_0 = 2,T_mult=1,eta_min=0,last_epoch=-1)#T_0就是初始restart的epoch数目，T_mult就是重启之后因子，默认是1。我觉得可以这样理解，每个restart后，T_0 = T_0 * T_mult。当T_mult默认时，
lrs = [] 
for epoch in range(5):
    for i in range(5):
        optimizer.step()
        scheduel.step(epoch+i/5)
        lrs.append(optimizer.param_groups[-1]['lr'])
pd.DataFrame({'lr':lrs}).plot()
#当为t_0*epoch ,突然增大