机器学习与高数：梯度（Gradient）与梯度下降法（Gradient Descent）

一篇经典博客：

http://blog.csdn.net/walilk/article/details/50978864

1.导数定义：导数代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的（瞬时）变化率。

注意：在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。

（derivative）

 

2.偏导数：既然谈到偏导数，那就至少涉及到两个自变量。以两个自变量为例，z=f（x,y），从导数到偏导数，也就是从曲线来到了曲面。曲线上的一点，其切线只有一条。但是曲面上的一点，切线有无数条。而偏导数就是指多元函数沿着坐标轴的变化率。

（partial derivative）

直观地说，偏导数也就是函数在某一点上沿坐标轴正方向的的变化率。 

 

3.方向导数

4.梯度

5.梯度下降