分层softmax_“让Keras更酷一些！”：分层的学习率和自由的梯度

高举“让Keras更酷一些！”大旗，让Keras无限可能～

今天我们会用Keras做到两件很重要的事情：分层设置学习率和灵活操作梯度。

首先是分层设置学习率，这个用途很明显，比如我们在fine tune已有模型的时候，有些时候我们会固定一些层，但有时候我们又不想固定它，而是想要它以比其他层更低的学习率去更新，这个需求就是分层设置学习率了。对于在Keras中分层设置学习率，网上也有一定的探讨，结论都是要通过重写优化器来实现。显然这种方法不论在实现上还是使用上都不友好。

然后是操作梯度。操作梯度一个最直接的例子是梯度裁剪，也就是把梯度控制在某个范围内，Keras内置了这个方法。但是Keras内置的是全局的梯度裁剪，假如我要给每个梯度设置不同的裁剪方式呢？甚至我有其他的操作梯度的思路，那要怎么实施呢？不会又是重写优化器吧？

本文就来为上述问题给出尽可能简单的解决方案。

分层的学习率#

对于分层设置学习率这个事情，重写优化器当然是可行的，但是太麻烦。如果要寻求更简单的方案，我们需要一些数学知识来指导我们怎么进行。

参数变换下的优化#

首先我们考虑梯度下降的更新公式：

\begin{equation}\boldsymbol{\theta}_{n+1}=\boldsymbol{\theta}_{n}-\alpha \frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}\label{eq:sgd-1}\end{equation}

其中$L$是带参数$\boldsymbol{\theta}$的loss函数，$\alpha$是学习率，$\frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}$是梯度，有时候我们也写成$\nabla_{\boldsymbol{\theta}} L(\boldsymbol{\theta}_{n})$。记号是很随意的，关键是理解它的含义～

然后我们考虑变换$\boldsymbol{\theta}=\lambda \boldsymbol{\phi}$，其中$\lambda$是一个固定的标量，$\boldsymbol{\phi}$也是参数。现在我们来优化$\boldsymbol{\phi}$，相应的更新公式为：

\begin{equation}\begin{aligned}\boldsymbol{\phi}_{n+1}=&\boldsymbol{\phi}_{n}-\alpha \frac{\partial L(\lambda\boldsymbol{\phi}_{n})}{\partial \boldsymbol{\phi}_n}\\

=&\boldsymbol{\phi}_{n}-\alpha \frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}\frac{\partial \boldsymbol{\theta}_{n}}{\partial \boldsymbol{\phi}_n}\\

=&\boldsymbol{\phi}_{n}-\lambda\alpha \frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}\end{aligned}\end{equation}

其中第二个等号其实就是链式法则。现在我们在两边乘上$\lambda$，得到

\begin{equation}\lambda\boldsymbol{\phi}_{n+1}=\lambda\boldsymbol{\phi}_{n}-\lambda^2\alpha \frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}\quad\Rightarrow\quad\boldsymbol{\theta}_{n+1}=\boldsymbol{\theta}_{n}-\lambda^2\alpha \frac{\partial L(\boldsymbol{\theta}_{n})}{\partial \boldsymbol{\theta}_n}\label{eq:sgd-2}\end{equation}

对比$\eqref{eq:sgd-1}$和$\eqref{eq:sgd-2}$，大家能明白我想说什么了吧：在SGD优化器中，如果做参数变换$\boldsymbol{\theta}=\lambda \boldsymbol{\phi}$，那么等价的结果是学习率从$\alpha$变成了$\lambda^2\alpha$。

不过，在自适应学习率优化器(比如RMSprop、Adam等)，情况有点不一样，因为自适应学习率使用梯度(作为分母)来调整了学习率，抵消了一个$\lambda$，从而(请有兴趣的读者自己推导一下)在RMSprop、Adam等自适应学习率优化器中，如果做参数变换$\boldsymbol{\theta}=\lambda \boldsymbol{\phi}$，那么等价的结果是学习率从$\alpha$变成了$\lambda\alpha$。

移花接木调整学习率#

有了前面这两个结论，我们就只需要想办法实现参数变换，而不需要自己重写优化器，来实现逐层设置学习率了。

实现参数变换的方法也不难，之前我们在《 “让Keras更酷一些！”：随意的输出和灵活的归一化》一文讨论权重归一化的时候已经讲过方法了。因为Keras在构建一个层的时候，实际上是分开了build和call两个步骤，我们可以在build之后插一些操作，然后再调用call就行了。

下面是一个封装好的实现：

使用示例：

几个注意事项：1、目前这种方式，只能用于自己动手写代码来构建模型的时候插入，无法对建立好的模型进行操作。

2、如果有预训练权重，有两种加载方法。第一种是像刚才的使用示例一样，在定义层的时候通过weights参数传入；第二种方法是建立好模型后(已经在相应的地方插入好SetLearningRate)，用model.set_weights(weights)来赋值，其中weights是“在SetLearningRate的位置已经被除以了$\lambda$或$\sqrt{\lambda}$的原来模型的预训练权重”。

3、加载预训练权重的第二种方法看起来有点不知所云，但如果你已经理解了这一节的原理，那么应该能知道我在说什么。因为设置学习率是通过weight * lamb来实现的，所以weight的初始化要变为weight / lamb。

4、这个操作基本上不可逆，比如你一开始设置了Embedding层以总体的1/10比例的学习率来更新，那么很难在这个基础上，再将它改为1/5或者其他比例。(当然，如果你真的彻底搞懂了这一节的原理，并且也弄懂了加载预训练权重的第二种方法，那么还是有办法的，那时候相信你也能搞出来)。

5、这种做法有以上限制，是因为我们不想通过修改或者重写优化器的方式来实现这个功能。如果你决定要自己修改优化器，请参考《“让Keras更酷一些！”：小众的自定义优化器》。

自由的梯度操作#

在这部分内容中，我们将学习对梯度的更为自由的控制。这部分内容涉及到对优化器的修改，但不需要完全重写优化器。

Keras优化器的结构#

要修改优化器，必须先要了解Keras优化器的结构。在《“让Keras更酷一些！”：小众的自定义优化器》一文我们已经初步看过了，现在我们重新看一遍。

随便观察一个优化器，就会发现你要自定义一个优化器，只需要继承Optimizer类，然后定义get_updates方法。但本文我们不想做新的优化器，只是想要对梯度有所控制。可以看到，梯度的获取其实是在父类Optimizer的get_gradients方法中：

其中方法中的第一句就是获取原始梯度的，后面则提供了两种梯度裁剪方法。不难想到，只需要重写优化器的get_gradients方法，就可以实现对梯度的任意操作了，而且这个操作不影响优化器的更新步骤(即不影响get_updates方法)。

处处皆对象：覆盖即可#

怎么能做到只修改get_gradients方法呢？这得益于Python的哲学——“处处皆对象”。Python是一门面向对象的编程语言，Python中几乎你能碰到的一切变量都是一个对象。我们说get_gradients是优化器的一个方法，也可以说get_gradients的一个属性(对象)，既然是属性，直接覆盖赋值即可。

我们来举一个最粗暴的例子(恶作剧)：

其实这个例子很无聊，就是把所有梯度置零了(然后你怎么优化它都不动了...)，但这个恶作剧例子已经足够有代表性了——你可以将所有梯度置零，你也可以将梯度做任意你喜欢的操作。比如将梯度按照$l_1$范数而非$l_2$范数裁剪，又或者做其他调整～

假如我只想操作部分层的梯度怎么办？那也简单，你在定义层的时候需要起一个能区分的名字，然后根据params的名字做不同的操作即可。都到这一步了，我相信基本是“一法通，万法皆通”的了。

飘逸的Keras#

也许在很多人眼中，Keras就是一个好用但是封装得很“死”的高层框架，但在我眼里，我只看到了它无限的灵活性～

那是一个无懈可击的封装。

更详细的转载事宜请参考：《科学空间FAQ》

如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。

如果您觉得本文还不错，欢迎分享/打赏本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！

打赏

微信打赏

支付宝打赏

因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。你还可以点击这里或在下方评论区留言来告知你的建议或需求。

如果您需要引用本文，请参考：

苏剑林. (2019, Mar 10). 《“让Keras更酷一些！”：分层的学习率和自由的梯度 》[Blog post]. Retrieved from https://www.spaces.ac.cn/archives/6418