keras优化算法_Keras实现两个优化器：Lookahead和LazyOptimizer

最近用Keras实现了两个优化器，也算是有点实现技巧，遂放在一起写篇文章简介一下(如果只有一个的话我就不写了)。这两个优化器的名字都挺有意思的，一个是look ahead(往前看？)，一个是lazy(偷懒？)，难道是两个完全不同的优化思路么？非也非也～只能说发明者们起名字太有创意了。

Lookahead#

首先登场的是Lookahead优化器，它源于论文《Lookahead Optimizer: k steps forward, 1 step back》，是最近才提出来的优化器，有意思的是大牛Hinton和Adam的作者之一Jimmy Ba也出现在了论文作者列表当中，有这两个大神加持，这个优化器的出现便吸引了不少目光。

Lookahead的思路很朴素，准确来说它并不是一个优化器，而是一个使用现有优化器的方案。简单来说它就是下面三个步骤的循环执行：1、备份模型现有的权重$\theta$；

2、从$\theta$出发，用指定优化器更新$k$步，得到新权重$\tilde{\theta}$；

3、更新模型权重为$\theta \leftarrow \theta + \alpha\left(\tilde{\theta} - \theta\right)$。

下面则是我的Keras实现，写法在之前的《“让Keras更酷一些！”：小众的自定义优化器》一文中就提到过了，属于一种“侵入式”的写法：

用法就很简单了：

至于效果，原论文中做了不少实验，有些有轻微提高(cifar10和cifar100那两个)，有些提升还比较明显(LSTM做语言模型那个)