Pytorch_Part5_迭代训练

一、学习率调整策略

梯度下降: $w_{i+1}=w_i-LR\ast g(w_i)$，学习率（learning rate）控制更新的步伐

pytorch中所有学习率控制都继承与class _LRScheduler

主要属性及函数：

• optimizer：关联的优化器
• last_epoch：记录epoch数
• base_lrs：记录初始学习率
• step()：更新下一个epoch的学习率
• get_lr()：虚函数，计算下一个epoch的学习率

scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)     # 设置学习率下降策略
for epoch in range(MAX_EPOCH):
  	...
  	for i, data in enumerate(train_loader):
    	...
  	scheduler.step()  # 更新学习率，注意在每个epoch调用，而不是每个iteration

1. 有序调整——Step, MultiStep, Exponential & CosineAnnealing

StepLR
功能：等间隔调整学习率
主要参数：
• step_size：调整间隔数
• gamma：调整系数
$lr=l{r}_0\ast gamma\ast \ast (epoch//step\_size)$

MultiStepLR
功能：按给定间隔调整学习率
主要参数：
• milestones：设定调整时刻数
• gamma：调整系数
$lr=lr\ast gamma$

ExponentialLR
功能：按指数衰减调整学习率
主要参数：
• gamma：指数的底
$lr=l{r}_0\ast$