pytorch动态调整学习率之epoch_step策略

上篇文章中讲到《pytorch动态调整学习率之Poly策略》，本次讲解另一个较为常用的策略，即训练过程中随着epoch的增加根据设定的$epoch\_step$对学习率进行衰减操作，具体公式如下所示：
$$lr=base\_lr\times 0.1^{\frac{epoch}{\mathrm{int}(num\_epoch/epoch\_step)}}$$
其中，$lr$为新的学习率，$base\_lr$为基准学习率，$epoch$为迭代次数，$num\_epoch$为最大迭代次数，$epoch\_step$控制衰减的速率，其中$int()$为取整运算。
代码具体如下所示：

def adjust_learning_rate_epoch_step(optimizer, epoch, num_epochs, base_lr, epoch_step)
    lr = base_lr * 0.1**(epoch/int(num_epochs/epoch_step))
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr
    return lr

以下为学习率随$epoch\_step$变化而变化的曲线，假设$base\_lr$=0.005，$num\_epoch$=100。