pytorch动态调整学习率之Poly策略

在进行深度学习训练过程中学习率是优化时非常重要的一个因子，通常情况下，在训练过程中学习率都是要动态调整的，通常学习率会逐渐衰减。本文讲解其中一个策略------Poly策略。
Poly是一种指数变换的策略，具体公式如下所示：
$$lr=base\_lr\times {\left(1-\frac{epoch}{num\_epoch}\right)}^{power}$$
其中，$lr$为新的学习率，$base\_lr$为基准学习率，$epoch$为迭代次数，$num\_epoch$为最大迭代次数，$power$控制曲线的形状（通常其大于1）。
具体代码如下：

def adjust_learning_rate_poly(optimizer, epoch, num_epochs, base_lr, power)
    lr = base_lr * (1-epoch/num_epochs)**power
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr
    return lr

以下为学习率随power变化而变化的曲线，假设$base\_lr$=0.005，$num\_epoch$=100。