梯度下降的收敛分析

梯度下降法

1、选择初始值$x_0$和步长$\eta$

2、循环从1…n:

$x_{i+1}=x_i+\eta \nabla f(x)$

这个就是典型的梯度下降法，也就是不断的循环，直到x收敛，找到最优的$x$，那么迭代多少次才能收敛呢？
今天咱们就分析一下

梯度下降法的收敛分析

梯度下降法的收敛分析，我们常用的定理就是：

假设函数满足L-Lipscthitz条件，并且函数是凸函数 ，设定：$x^{\ast }=argmaxf(x)$那么对于步长$n_t\le \frac{1}{L}$:

$f(x_k)\le f(x^{\ast })+\frac{||x_0-x^{\ast }|{|}^2}{2{\eta }_{t}k}$

公式中L表示一个常数，$k$表示迭代的次数，$x^{\ast }$表示最优解，也就是随着迭代次数的增加，$\frac{||x_0-x^{\ast }|{|}^2}{2{\eta }_{t}k}$越小表示我们的解也就越接近最优解，比如：第一次迭代$f(x_1)\le f(x^{\ast })+20$，第23次迭代：$f(x_{23})\le f(x^{\ast })+0.1$我们从公式中可以看出$f(x_{23})$要比$f(x_1)$要更加接近$f(x^{\ast })$

并且如果$k=\frac{||x_0-x^{\ast }|{|}^2}{\epsilon }$ 且$({\eta }_t=\frac{1}{L})$我们可以得到在k次迭代后获得的解与最优解的差距为$\epsilon$

为什么是这样呢？大家有没有考虑过这个问题？所以今天我们就证明一下这个定理：

先来证明：
$k=\frac{||x_0-x^{\ast }|{|}^2}{\epsilon }$ 且$({\eta }_t=\frac{1}{L})$我们可以得到在k次迭代后获得的解与最优解的差距为$\epsilon$

首先我们可以看到在公式中：

$f(x_k)\le f(x^{\ast })+\frac{||x_0-x^{\ast }|{|}^2}{2{\eta }_{t}k}$

只有k是变化的，将$k=\frac{L||x_0-x^{\ast }|{|}^2}{\epsilon }$ 和$({\eta }_t=\frac{1}{L})$代入公式中：

$\frac{||x_0-x^{\ast }|{|}^2}{2{\eta }_{t}k}=\frac{||x_0-x^{\ast }|{|}^2}{2\frac{1}{L}\frac{L||x_0-x^{\ast }|{|}^2}{\epsilon }}=$