梯度下降

梯度下降

梯度下降法是最常用的一阶优化方法，用于求解无约束优化问题。

考虑无约束优化问题$mi{n}_{\mathbf{x}}f(x\text{x}x)$，其中$f(x\text{x}x)$为连续可微函数，若能构造一个序列${x\text{x}x}_0,{x\text{x}x}_1,{x\text{x}x}_2$…满足
$$f({x\text{x}x}_{t+1})<f({x\text{x}x}_t)t=0,1,2...$$
则不断执行该过程即可收敛到局部极小点，根据泰勒公式，函数$f(x\text{x}x+\Delta x\text{x}x)$在$x\text{x}x$处的泰勒展开为：
$$f(x\text{x}x+\Delta x\text{x}x)\approx f(x\text{x}x)+\nabla f(x\text{x}x{)}^T\Delta x\text{x}x\text{\hspace{1em}(1)}$$
其中$f(x\text{x}x)$已知，要满足$f(x\text{x}x+\Delta x\text{x}x)<f(x\text{x}x)$，只需令$\nabla f(x\text{x}x{)}^T\Delta x\text{x}x<0$，同时为了更快的收敛到局部极小点，$f(x\text{x}x+\Delta x\text{x}x)$应尽量小，注意到式(1)的右边第二项是$\nabla f(x\text{x}x)$与$\Delta x\text{x}x$的内积，那么只需令$\Delta x\text{x}x$与$\nabla f(x\text{x}x)$的方向相反，$f(x\text{x}x)$将以最快的速度下降(反之则以最快的速度上升，这就是为什么梯度的方向是函数值增长最快的方向)，现实中通常取
$$\Delta x\text{x}x=-\gamma \nabla f(x\text{x}x)\gamma >0$$
其中$\gamma$是步长，步长的设置需合理，若过小可能收敛速度慢，若过大可能会在局部极小点附近振荡无法收敛。
下面以$f(x)=x^2$为例，看一下收敛过程。
当$\gamma =0.2$时，整个梯度下降的收敛路径如下所示。

不妨减小步长，令$\gamma =0.05$，此时路径如下所示。

再看看增大步长，令$\gamma =0.9$。

能够明显的看到在极值点附近振荡。为保证一定能收敛$\gamma$可以适当小一点，在实际使用时$\gamma$通常取$0.05\sim 0.1$