pytorch实现multi learning rate(多重学习率)

本文章是xintao的SRGAN框架的代码学习，代码可在github上找到。

# 构建学习率变化器
scheduler = lr_scheduler.MultiStepLR(optimizer, milestones, gamma)
# 执行
scheduler.step()

# example
self.optimizer = torch.optimizer.Adam(self.mynetwork.parameters(), lr=1e-4,\
                weight=0, betas=(0.9,0.999))
scheduler = lr_shceduler.MultiStepLR(self.optimizer, [10000,40000], 0.5)
if current_step % val_step == 0 
    scheduler.step()

# 在10000steps时，lr_rate = lr_rate*gamma = 1e-4*0.5=5e-5
# 40000steps时， lr_rate = lr_rate*gamma =5e-5*0.5=3e-5