机器学习之梯度下降法

1     梯度的定义

       梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

       在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。 

（注意：梯度是一个向量）

    梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向；在远离最优解的时候梯度大，在靠近最优解的时候梯度小。

（注意：梯度是一个向量）

梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向；在远离最优解的时候梯度大，在靠近最优解的时候梯度小。

2    梯度法思想

     梯度法思想的三要素：出发点、下降方向、下降步长。图1表明了梯度下降的过程;

                                                                                                图1 梯度下降历程