2020-06-05-pytorch调参
1. 学习率
非常重要,设得太大,模型会发散,直接崩了;过小,则一直震荡,无法跳出局部最优解。
看这里来通过一定的手段学习最佳学习率。
def find_lr(init_value = 1e-8, final_value=10., beta = 0.98):
num = len(trn_loader)-1
mult = (final_value / init_value) ** (1/num)
lr = init_value
optimizer.param_group
原创
2021-09-29 10:47:28 ·
905 阅读 ·
0 评论