PyTorch中Warm Up学习率不使用就不要定义否则影响学习率一直为0
踩坑描述:如果定义了warm Up学习率的衰减方式如下, if args.decay_type == "cosine": scheduler = WarmupCosineSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=t_total) else: scheduler = WarmupLinearSchedule(optimizer, warmup_
原创
2021-12-07 17:50:52 ·
2409 阅读 ·
3 评论