调整学习率

最新推荐文章于 2023-05-02 15:55:21 发布

Alphapeople

最新推荐文章于 2023-05-02 15:55:21 发布

阅读量412

点赞数

分类专栏：机器学习文章标签： RAdam 学习率调整 epoch 参数组动态调整

本文链接：https://blog.csdn.net/weixin_38241876/article/details/117664759

版权

机器学习专栏收录该内容

81 篇文章 1 订阅

订阅专栏

init_lr = 0.01
optimizer = RAdam(model.parameters(), lr = init_lr, weight_decay=0.0004)

def adjust_learning_rate(optimizer, epoch, init_lr):
    """Sets the learning rate to the initial LR decayed by 0.95 every 10 epochs"""
    # lr = args.lr * (0.95 ** (epoch // 100))
    lr = init_lr * (0.95 ** (epoch // 20))
    for i, param_group in enumerate(optimizer.param_groups):
        param_group['lr'] = lr
    pass