梯度下降学习率的优化

一. 问题描述

令目标函数为$f(x)$，当前点为$x_k$，当前搜索方向为$d_k$，我们把学习率$\alpha$看做变量，不妨设：

$$h(\alpha)=f(x_k+\alpha d_k), a > 0$$
现在问题变成求 $h(\alpha)$的最小值，假设 $h(\alpha)$可导，则有：
$$h'(\alpha)=\frac{\partial f(x_k+\alpha d_k)}{\partial(x_k+\alpha d_k)}d_k$$

二. 学习率函数$h(\alpha)$的分析

由导数的性质知道，局部最小值处满足$h'(\alpha)=0$
将$\alpha=0$代入，得：

$$h'(0)=\frac{\partial f(x_k)}{\partial x_k}d_k$$
不妨取 $d_k$为负梯度，即 $d_k=-\frac{\partial f(x_k)}{\partial x_k}$，则有：
$$h'(0) = -(\frac{\partial f(x_k)}{\partial x_k})^2 \leq 0$$
如果能够找到足够大的 $\alpha$，使得 $h'(\alpha)>0$，则必存在某个值 $\alpha_0$，使得 $h'(\alpha_0)=0$， $\alpha_0$即为要寻找的学习率
1. 二分线性搜索
2. 回溯线性搜索
3. $Armijo$准则
$$f(x_k+\alpha d_k) \leq f(x_k)+c_1\alpha\frac{\partial f(x_k)}{\partial x_k}d_k, 0<c_1<1$$
4. 二项插值法
由 $f(x)=\frac{f(a)-f'(0)a-f(0)}{a^2}x^2+f'(0)x+f(0)$可得 $h(\alpha)$的近似函数为：
$$h_q(\alpha)=\frac{h(\alpha_0)-h'(0)\alpha_0-h(0)}{\alpha_0^2}\alpha^2+h'(0)\alpha+h(0)$$
可得，最优值为：
$$\alpha=\frac{h'(0)\alpha_0^2}{2(h'(0)\alpha_0+h(0)-h(\alpha_0))}$$

如有错误请指正