【深度学习】 学习率lr(Learning Rate)对精度和损失值的影响

学习率对精度和损失值的影响研究

1 问题

探究不同学习率对深度学习的精度和损失的影响。

2 探究

通过设置不同学习率（lr）发现，训练精度随着学习率的减小在模型训练次数较多的背景下渐趋平稳，逐渐稳定在某一个较小的区间内，但当学习率变得太小的时候，相同周期内的训练精度可能相对变得较低；训练损失值在较少次数的模型训练背景下，学习率越小，训练损失值波动越大，随着训练次数的增加，损失值渐趋相同，当学习率过小的时候，训练损失值可能不再符合原来的线性规则；对于验证集精度，随着学习率的减小，验证精度的整体波动程度增大，但精度随着训练次数的增加，逐渐平稳，同时，当学习率变得太小的时候，相同周期内的训练精度可能相对变得较低；对于验证集损失值，在较少次数的模型训练背景下，学习率越小，训练损失值波动越大，随着训练次数的增加，学习率越小，验证集损失值越大，但整体变化不大。

训练精度随学习率的变化产生的变化：

图1 lr=0.1

图2 lr=0.01

图3 lr=0.001

图4 lr=0.0001

训练损失值随学习率的变化产生的变化：

图5 lr=0.1

图6 lr=0.01

图7 lr=0.001

图8 lr=0.0001

验证集精度随学习率的变化产生的变化：

图9 lr=0.1

图10 lr=0.01

图11 lr=0.001

图12 lr=0.0001

验证集损失值随学习率的变化产生的变化：

图13 lr=0.1

图14 lr=0.01

图15 lr=0.001

图16 lr=0.0001

3 结语

针对本问题，主要采用定量分析法，在其他变量不变的前提下，将学习率（lr）设置成不同大小，在训练模型100次之后，得出相对比较结果。
最终，得出的结论是：学习率对深度学习训练精度和验证精度的影响较大，且当学习率过小时，模型产生的损失值可能出现严重违背原线性规则的变化。