16.周期学习率(cyclical learing rates,CLR)

周期学习率(cyclical learing rates,CLR).该方法不是单调的降低学习率，而是使学习率在合理的边界值内循环变化。
    使用周期学习率而不是固定值进行训练可以提高分类准确率，而无需进行调整并且通常可以减少迭代次数。
    本文还描述了一种估算“合理界限”的简单方法 -- 在几个周期内线性的增加学习率。
    
    贡献点： 
    1. 一种用于设置全局学习率的方法，无需大量实验即可找到最佳值和变化策略，且基本上无需额外的计算量 
    2. 证明了一个惊人的现象，学习率反复升降虽然暂时损害了网络性能，但是整体是收益的
    3. 在CIFAR10和CIFAR100对ResNets，Stochastic Depth networks,  DenseNets, 在ImageNet对AlexNet、GoogLeNet进行了验证
    
    和自适应学习率比： 
    1. 自适应学习率可以看作是CLR的一个竞争对手，因为它可以依靠局部自适应学习率代替全球学习率，但是会产生很大的计算成本。CLR没有这种计算开销可以自由使用。 
    2. 和自适应学习率不同的是，CLR 可以包含自适应学习率(后面会讨论CLR+自适应学习率)
    3. 另外CLR策略在计算上比自适应学习率简单。CLR跟SGDR很像。