梯度与梯度上升/下降法
这是一个我一直没有弄透彻的概念,特地整理总结一下,希望在这个过程中思路得以拓展。
在引入梯度的概念之前,先介绍一下以下几个概念:导数,偏导数,方向导数。
1. 导数
导数的定义如下:
f ′ ( x 0 ) = l i m Δ x → 0 f ( x 0 + Δ x ) − f ( x 0 ) Δ x f'(x_0)=lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x} f′(x0)=limΔx→0Δxf(x0+Δx)−f(x0)
表示的是函数 f ( x ) f(x) f(x)在某一点 x 0 x_0 x0沿着 x x x轴正方向的变化率/变化趋势。当 f ′ ( x 0 ) f'(x_0) f′(x0)>0时,说明 f ( x ) f(x) f(x)的函数值在 x 0 x_0 x0点沿x轴正方向是趋于增加的,反之,则是趋于减少的。
2.偏导数
偏导数与导数类似,是指一个多变量的函数,关于其中一个变量的导数,而其他变量保持不变。
三变量函数 f ( x , y , z ) f(x,y,z) f(x,y,z)的偏导数的定义如下:
∂ f ( x 0 , y 0 , z 0 ) ∂ y = l i m Δ y → 0 f ( x 0 , y 0 + Δ y , z 0 ) − f ( x 0 , y 0 , z 0 ) Δ y \frac{\partial f(x_0,y_0,z_0)}{\partial y}=lim_{\Delta y \to 0}\frac{f(x_0,y_0+\Delta y,z_0)-f(x_0,y_0,z_0)}{\Delta y} ∂y∂f(x0,y0,z0)=limΔy→0Δyf(x0,y0+Δy,z0)−f(x0,y0,z0)
表示的是三变量函数 f ( x , y , z ) f(x,y,z)