Gradient-based Hyperparameter Optimization through Reversible Learning

摘要

　　因为超参数的梯度信息很难获得，所以调整超参数很难。我们在整个训练集上计算了对于所有超参数的交叉检验的精确参数。这使得我们可以优化各种超参数，包括训练步长、动量、初始参数的分布、网络结构、正则化形式。我们的计算恰好颠覆了基于动量的随机梯度下降法的动力。

简介

　　机器学习到处都是超参数，需要通过例如l1l2等正则化来限制模型的复杂度。还有步长、动量衰减、初始条件等，都很难决定。
　　现有的方法通过验证集来确定好的参数达到最好结果，但是也不能一下子调整10~20个参数。
　　为何不考虑梯度呢，逆向差分使得梯度的计算消耗接近初始目标函数的计算消耗。这种方法一般用于元素参数的计算。计算超参数的梯度的困难在于验证集损失函数的计算需要元素级别的内部循环，这使得初始的基于内存消耗的梯度计算难以实现。第２部分会来解决这个问题，所用方法也是本文的主要方法。
　　得到超参数的梯度为通往天堂之路打开了一扇窗……我们不是尽量从模型中消除超参数，而是利用并丰富模型中的超参数。就如高维的元素参数使得模型更灵活一样，高维的超参数使得我们的模型类别、正则化方法、训练方法更加灵活。

超梯度

　　逆向差分（也就是算法）在超参数的梯度计算中受制于内存消耗过大而难以实施。