梯度下降法中步长更新公式

  凸优化问题有一个重要的特性：所有的局部最优解一定是全局最优解。
  但实际中的问题往往不是凸的，或者说其梯度很难求解，所以我们想要得到精确的解很难。工程上一般用迭代法求近似解。它的思想是，从一个初始点开始，反复使用某种规则移动到下一个点，构造这样一个数列，直至收敛到梯度为0的点处。即有下列极限成立。
$$\underset{k\to +\infty }{\lim }\nabla f\left(x_k\right)=0$$
迭代法中核心是利用一阶或者二阶导数信息，得到由上一个点确定一个点的迭代公式：
$$x_{k+1}=h\left(x_k\right)$$
由于在最小化算法的设计中，要求迭代过程中目标函数是下降的，也就是：
$$f\left(x_{k+1}\right)<f\left(x_k\right)$$
又因为目标函数在$x_{k+1}$的一阶泰勒展开为：
$$f\left(x_{k+1}\right)\approx f\left(x_k\right)+{\left(\nabla f\left(x_k\right)\right)}^T\Delta x_k$$
可以知道，当${\left(\nabla f\left(x_k\right)\right)}^T\Delta x_k<0$的时候，有$f\left(x_{k+1}\right)<f\left(x_k\right)$
所以称使得${\left(\nabla f\left(x_k\right)\right)}^T\Delta x_k<0$的搜索方向$\Delta x_k$叫做目标函数在第k次迭代时的下降方向。
又两个向量相乘等于模长乘以cosθ。
$${\left(\nabla f\left(x_k\right)\right)}^T\Delta x_k=\Vert \nabla f\left(x_k\right)\Vert \bullet \Vert \Delta x_k\Vert \cos \theta$$
这里，cosθ=[-1,1],只有当cos<0时，上式才会小于0。特别的，当θ=$\pi$时，有极小值。此时，$f(x+\Delta x)$沿着x的梯度方向下降最快。下降值为：$\Vert \nabla f\left(x_k\right)\Vert \bullet \Vert \Delta x_k\Vert$。
设$\alpha$为一个接近于0的数，称为步长，有，$\Delta x=-\alpha \nabla f(x)$
所以有，$$f\left(x-\alpha \nabla f(x)\right)\underset{\sim }{<}f(x)$$
这就意味着，我们如果用$x\leftarrow x-\alpha \nabla f(x)$来迭代x，目标函数f(x)的值可能降低。所以在梯度下降中，我们先选取一个初始值x和常数α>0,然后通过上式不断来迭代x，直到达到停止条件。