讨论
这个问题是很容易忽略,也就一个负号的问题,大多是记下来,但是确实也一个搞不懂的问题。
方向导数
简单说明方向导数,毕竟梯度与方向导数是有关系的。
上图
l
l
l 对
x
x
x,
y
y
y的偏导,分别在
x
x
x和
y
y
y的方向上,两偏导线垂直映射到绿色线方向上,再求和就是绿色线向量长度;
θ
=
0
θ=0
θ=0时,也就是绿色线和灰色线重合,也就是梯度方向上的最大方向导数。
梯度方向为何是上升方向
这个示例函数是
f
(
x
)
=
(
x
−
2
)
2
+
2
f(x)=(x-2)^2+2
f(x)=(x−2)2+2
在(1,3)位置的梯度为-2<0,梯度方向为x轴的负方向,上升
在(3,3)位置的梯度为2>0,梯度方向为x轴正方向,上升
推导:
设
f
(
x
)
f(x)
f(x)有一阶导:
f
(
x
+
Δ
x
)
−
f
(
x
)
Δ
x
≈
f
′
(
x
)
\frac{f(x+\Delta x)-f(x)}{\Delta x}\approx f'(x)
Δxf(x+Δx)−f(x)≈f′(x)
-
如 果 f ′ ( x ) > 0 , 在 Δ x 邻 域 半 径 内 单 调 上 升 , 梯 度 方 向 取 x 的 正 方 向 , 函 数 梯 度 上 升 如果f'(x)>0,在\Delta x邻域半径内单调上升,梯度方向取x的正方向,函数梯度上升 如果f′(x)>0,在Δx邻域半径内单调上升,梯度方向取x的正方向,函数梯度上升
-
如 果 f ′ ( x ) < 0 , 在 Δ x 邻 域 半 径 内 单 调 下 降 , 梯 度 方 向 取 x 的 负 方 向 , 函 数 梯 度 上 升 如果f'(x)<0,在\Delta x邻域半径内单调下降,梯度方向取x的负方向,函数梯度上升 如果f′(x)<0,在Δx邻域半径内单调下降,梯度方向取x的负方向,函数梯度上升
注意,函数可以扩展到多维,所以梯度下降取负。