角度一:定义
1、方向向量
u
=
i
cos
θ
+
j
sin
θ
u=i\cos\theta+j\sin\theta
u=icosθ+jsinθ
2、方向导数
U
=
lim
t
→
0
f
x
(
x
0
+
t
cos
θ
,
y
0
+
t
sin
θ
)
−
f
y
(
x
0
,
y
0
)
t
U=\underset{t\to0}{\lim}\frac{f_x(x_0+t\cos\theta,y_0+t\sin\theta)-f_y(x_0,y_0)}{t}
U=t→0limtfx(x0+tcosθ,y0+tsinθ)−fy(x0,y0)
3、微分方程
∇
z
=
f
(
x
+
Δ
x
,
y
+
Δ
y
)
−
f
(
x
,
y
)
=
A
Δ
x
+
B
Δ
y
+
o
(
ρ
)
=
f
x
Δ
(
x
)
+
f
y
Δ
(
y
)
+
o
(
ρ
)
\nabla{z}=f(x+\Delta{x},y+\Delta{y})-f(x,y) \\=A\Delta{x}+B\Delta{y}+o(\rho) \\=f_x\Delta(x)+f_y\Delta(y)+o(\rho)
∇z=f(x+Δx,y+Δy)−f(x,y)=AΔx+BΔy+o(ρ)=fxΔ(x)+fyΔ(y)+o(ρ)
4、推导
利用微分方程,方向导数可以转换为下式
U
=
lim
t
→
0
f
x
(
x
0
,
y
0
)
t
cos
θ
+
f
y
(
x
0
,
y
0
)
t
sin
θ
t
=
f
x
(
x
0
,
y
0
)
cos
θ
+
f
y
(
x
0
.
y
0
)
sin
θ
U=\underset{t\to0}{\lim}\frac{f_x(x_0,y_0)t\cos\theta+f_y(x_0,y_0)t\sin\theta}{t} \\ =f_x(x_0,y_0)\cos\theta+f_y(x_0.y_0)\sin\theta \\
U=t→0limtfx(x0,y0)tcosθ+fy(x0,y0)tsinθ=fx(x0,y0)cosθ+fy(x0.y0)sinθ
令
A
=
(
f
x
(
x
0
,
y
0
)
,
f
y
(
x
0
,
y
0
)
)
=
G
r
a
d
i
e
n
t
(
x
0
,
y
0
)
I
=
(
cos
θ
,
sin
θ
)
A=\big(f_x(x_0,y_0),f_y(x_0,y_0)\big)=Gradient(x_0,y_0) \\ I=(\cos\theta,\sin\theta)
A=(fx(x0,y0),fy(x0,y0))=Gradient(x0,y0)I=(cosθ,sinθ)
U
=
A
I
=
∣
A
∣
∣
I
∣
cos
α
⪕
∣
A
∣
∣
I
∣
U=AI =\begin{vmatrix} A \end{vmatrix} \begin{vmatrix} I \end{vmatrix} \cos\alpha \eqslantless \begin{vmatrix} A \end{vmatrix} \begin{vmatrix} I \end{vmatrix}
U=AI=∣∣A∣∣∣∣I∣∣cosα⪕∣∣A∣∣∣∣I∣∣
当
α
=
0
\alpha=0
α=0, 即
A
A
A 与
I
I
I 共线时,
U
U
U 取得最大值,即方向变化最大。该最大变化的方向与梯度方向共线。
(一般来说,优化问题中,我们总是求最小优化问题,所以迭代更新方向时往往取“负梯度方向”。)
角度二:Taylor公式展开
Taylor公式展开如下:
f
(
x
0
+
Δ
x
)
=
f
(
x
0
)
+
f
′
(
x
0
)
Δ
x
+
o
(
Δ
x
)
f(x_0+\Delta{x})=f(x_0)+f^{'}(x_0)\Delta{x}+o(\Delta{x})
f(x0+Δx)=f(x0)+f′(x0)Δx+o(Δx)
f
(
x
0
+
Δ
x
)
f(x_0+\Delta{x})
f(x0+Δx) 与
Δ
x
\Delta{x}
Δx 呈现出线性关系,
Δ
x
\Delta{x}
Δx 的系数
f
′
(
x
0
)
=
g
r
a
d
i
e
n
t
f^{'}(x_0)=gradient
f′(x0)=gradient 就是变化方向。(该一次展开式给出了迭代更新的方向。)
若取步长为
λ
\lambda
λ,就可以进行“一阶逼近”。
x
n
=
x
n
−
1
−
λ
∇
f
(
x
n
−
1
)
x_n=x_{n-1}-\lambda\nabla{f(x_{n-1})}
xn=xn−1−λ∇f(xn−1)