机器学习之数理知识（一）导数、偏导数、方向导数、梯度

导数

导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。

比如y=x2，在x=1处的导数=2。

导数是通过极限来定义的，某一点的导数=tanψ，但是前提是△x趋近于0，此时tanψ=tanα=该点导数，公式如下：

偏导数

在多元函数中，偏导数指的是函数y(x1,x2,…,xn)沿某一坐标轴(x1,x2,…,xn)正方向的变化率。

比如z=x2+y2，在(1,2)处的在x方向上的偏导数：