导数
导数的概念和运用可以说是贯穿了我们自初中以来的所有数学知识。当自变量x和因变量y都是一维且定义域和值域都为实数域的情况下,因变量y导数的定义如下:
可以这么理解,对于某一点(自变量),当它改变dx的时候,对应的y(因变量)的改变量dy就可以根据导数f'(x)计算出来:dy = f'(x) * dx。
曲线上某点的导数 = 过该点切线的斜率。
需要澄清的一个概念是: 虽然导数有正有负,它仍然是一个标量
偏导数
偏导数则是在因变量为一元,自变量为多元的情况下,因变量关于各个自变量单独求导的导数。举一个例子,的因变量为z,自变量为x和y,z对x和y就可以分别求偏导数。
其实,导数在非严格意义上来说也就是一元的“偏导”,只对一个自变量求导数。
梯度
梯度主要是针对拥有多个自变量的函数来说的,表示的函数值增长最为迅猛的方向,可见梯度是一个矢量,是带有方向的。
在计算中,需要求函数的偏导,即对每一个自变量求导数,这样就是指示了函数在每一个自变量方向的变化。
这里需要特别说明下对于一元函数,导数和梯度的理解。
首先给出结论:当自变量是一元的时候,函数上某一点的导数值可以近似的理解为梯度,梯度的方向为导数值的符号方向,一定是和自变量的轴(也就是这里的x轴)平行的。
举个例子:一元函数的表达式为
,则
的导数表达式为
,当x取值为1时,导数值为2,其符号为正,表示沿着x轴的正方向是函数值增加最快的方向,即梯度的方向就是x轴方向,大小为2;当x取值为-1时导数为-2,其符号为负,表示沿着x轴的反方向是函数值增加最快的方向,即梯度的方向就是x轴反方向,大小也为2。
这里之所以说导数近似为梯度是因为,导数是一个标量,而梯度是一个矢量,这里再解释的过程中,我们将导数值的正负号作为梯度的指示方向了。