余弦退火算法作图理解(python)
model = MyBertModel()optimizer = optim.AdamW(model.parameters(),lr=1) #一阶动量和二阶动量都用起来,就是 Adam 了——Adaptive + Momentum。scheduel = CosineAnnealingWarmRestarts(optimizer,T_0 = 2,T_mult=1,eta_min=0,last_epoch=-1)#T_0就是初始restart的epoch数目,T_mult就是重启之后因子,默认是1。我觉得可
原创
2022-04-11 15:22:19 ·
1725 阅读 ·
0 评论