梯度和方向导数的概念在 ML和数字图像处理中有着广泛的应用,但每次看了之后又很容易忘记,转一篇文章记录下
转载出处:http://blog.163.com/cindy_19810217/blog/static/201059118201111169320477/
1. 梯度:为了标记两个一阶偏导数,而取的一个特殊名称。
函数f(x, y)的梯度定义为:,和分别是x和y方向上的切线斜率。
如何求其他方向上的斜率呢?
2 . 方向导数:
首先在xoy平面上取一个单位向量,指向平面上任何一个方向,我们把函数f在u所指的方向上的变化率,定义为方向导数,用来表示。换句话说,就是在包含u的垂直平面上的那条切线的斜率。
注意:这里的是只有方向的单元向量,这样才能用点积这么算。
此公式的极限含义:
3. 梯度与方向导数的关系:
我们要寻找使方向导数最大的单位向量u,此时切线斜率是最大的。根据点积计算公式,当u与的夹角为0度时,为最大值。因此方向导数的最大值就是顺着方向。此时有 :