![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
训练过程走过的坑(bushi
文章平均质量分 69
编程被我拿捏住了
编程被我拿捏住了
展开
-
学习率设置(写给自己看)
CosineAnnealingLR是余弦退火学习率,T_max是周期的一半,最大学习率在optimizer中指定,最小学习率为eta_min。这里同样能够帮助逃离鞍点。值得注意的是最大学习率不宜太大,否则loss可能出现和学习率相似周期的上下剧烈波动。基本上的选择方式是选择1/4个余弦函数的周期。可视化:这里官方文档的公式说明讲的很清晰,自行学习吧:Parameters 参数optimizer (Optimizer) - 包装优化器。T_max (int) - 最大迭代次数。原创 2023-12-04 22:10:54 · 1253 阅读 · 0 评论 -
图像分类任务的训练小Trick
欠拟合(训练集测试集精度都不高)->weight_decay设置小一点一般5e-4,4e-5过拟合(训练集精度远远大于测试集)->weight_decay设置稍微大一点1e-4。原创 2023-11-16 21:57:08 · 122 阅读 · 0 评论 -
torch.backends.cudnn.enabled = False会引起CUDA out of memory和CUDA error: an illegal memory access was
小问题原创 2023-11-05 13:22:29 · 473 阅读 · 0 评论