机器学习-梯度（gradient）与梯度下降（gradient discent）

梯度（gradient）是机器学习中一个重要概念，梯度下降（gradient descent）也是机器学习常用的最优化算法。

一，梯度

我们从导数讲起：

定义：

我们从上面可以直观看出，对于一元函数，导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。

然后来看偏导：

定义：

从上面可以看出，偏导数是导数的多元情况。偏导反映的是函数在某一点沿某一坐标轴正方向的变化率。

方向导数：

定义：

方向导数反映的是函数在某一点沿某一方向的变化率。

梯度的定义：

梯度的是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

即，1）梯度是一个向量，即有方向有大小； 2）梯度的方向是最大方向导数的方向； 3）梯度的值是最大方向导数的值。

二，梯度下降

显然，梯度下降顾名思义，就是沿梯度下降的方向求解极小值。

简单举例：

因此，梯度下降法能够应用于目标函数的优化。

参考资料：

　[机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent） 
　http://blog.csdn.net/walilk/article/details/50978864