CSDN机器学习笔记八 梯度下降

一、梯度下降

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
可以用于求解非线性方程组。
例子：
求函数f(x)=x²的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度，
2、向梯度相反的方向移动x，如下
，其中，γ 为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
3、循环迭代步骤2，直到x 的值变化到使得f(x) 在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的f(x) 基本没有变化，则说明此时f(x) 已经达到局部最小值了。
4、此时，输出x ，这个x 就是使得函数f(x) 最小时的x 的取值 。

梯度下降

定义梯度下降函数