机器学习13-方向导数、梯度

知识点十三：方向导数、梯度

1、曲面与空间坐标

2、方向导数

导数反映的是函数沿坐标轴方向的变化率，而在空间几何里面，方向导数反映的是曲面函数沿任一指定方向的变化率问题。

曲面上的某一点(x0,y0,z0)会有一个切平面，切平面上的无数条直线都是过这一点的切线，这些切线的斜率实际上就是过这一点的无数个方向导数的值，和一元函数一样，方向导数的值实际反映了多元函数在这一点沿某个方向的变化率。正如下山必然有一条最陡峭、最快的路径，方向导数也有一个最小值，在最小值对应的方向上，函数下降最快。

3、梯度

梯度就是一个向量，这个向量的每个元素分别是多元函数关于每个自变量的偏导数。

4、学习函数与最速下降法

学习的过程就是一个多元函数：

学习效果z = f（学习时长x，读书数量y，老师水平z）

其中，每个变量的增加对学习效果z的影响是不一样的，通常认为学习时长x影响更大一点。一个学生，如果他的学习时长x变少，那么他的学习效果z会迅速的下降，这个下降的过程就类似于最速下降法。

5、梯度和等高线的关系

两条等高线之间，距离最近的部分，可以视为梯度。