【实战】2019最牛的梯度优化算法出炉，AdaBound实验对比代码

论文：Adaptive Gradient Methods with Dynamic Bound of Learning Rate

论文地址：https://openreview.net/pdf?id=Bkg3g2R9FX

github地址：https://github.com/Luolc/AdaBound

 

AdaBound可以被视为一个优化器，随着训练步数的变大，它会从Adam动态转换为SGD。通过这种方式，它可以结合自适应方法的好处，即快速的初始过程，以及SGD的良好最终泛化属性。

 

以下部分是作者使用Pytorch深度学习框架，使用CIFAR-10数据，在ResNet和DensetNet两个神经网络训练，使用各优化算法，以下为对比实验的代码截图：

 

ResNet(深度残差网络)模型

结论:我们看到自适应方法（AdaGrad,Adam 和AMSGrad）刚开始比非自适应学习率（SGD）有着良好的表现。但是在150epoch之后学习率消失递减，SGD开始表现良好相比自适应方法更出色。从整个表现看我们的自适应方法AdaBound和AMSBound 能够在刚开始(和AdaGrad,Adam 和AMSGrad）快速得到一个较好的表现，也能在后面的epoch比SGD更出色稳定。

DensetNet(稠密卷积神经网络)

在DenseNet-121上验证与期望一样，同样AdaBound有着不俗的表现。 

 

实验设置：

 

 

下载|730页 凸优化英文原版

下载|382页 PYTHON自然语言处理

下载|498页 Python基础教程第3版

下载|1001页 Python数据分析与数据化运营