连续函数的最优化方法-阻尼牛顿法
1、介绍
由于原始牛顿下降法(见公式 29)中没有步长因子，对于非二次型目标函数，有时会使函数值上升，即出现 F ( X k + 1 ) > F ( X k ) F(X_{k+1})>F(X_{k}) F(Xk+1)>F(Xk)的情况，这表明原始牛顿下降法不能保证函数值稳定的下降。
2、数学原理
为了在获得牛顿方向后，还能够保证每一次的迭代是朝着函数值下降的方向移动，对公式 29添加步长因子
λ
\lambda
λ 得到如下形式的阻尼牛顿算法：
X
k
+
1
=
d
e
f
X
k
+
λ
×
N
(
X
k
)
(
公
式
30
)
X_{k+1}\stackrel{\mathrm{def}}{=} X_{k}+\lambda \times N(X_k) \qquad (公式30)
Xk+1=defXk+λ×N(Xk)(公式30)
将公式 30 的结果代入公式 10 可推得：
K
(
λ
)
=
d
e
f
F
(
X
k
+
λ
×
N
(
X
k
)
)
(
公
式
31
)
K(\lambda)\stackrel{\mathrm{def}}{=} F(X_{k}+\lambda \times N(X_k)) \qquad (公式31)
K(λ)=defF(Xk+λ×N(Xk))(公式31)
公式 30 的最优步长因子
λ
k
\lambda_k
λk是当函数
K
(
λ
)
K(\lambda)
K(λ)取得最小值的时候，自变量
λ
\lambda
λ的取值：
λ
k
=
d
e
f
a
r
g
min
λ
∈
R
K
(
λ
)
(
公
式
32
)
\lambda_k \stackrel{\mathrm{def}}{=} arg\ \underset{\lambda \in R}{\min}\ K(\lambda) \qquad (公式32)
λk=defarg λ∈Rmin K(λ)(公式32)
由公式 30 和公式 32 可推得目标函数
F
(
X
k
)
F(X_{k})
F(Xk)的最优化迭代公式：
X
k
+
1
=
d
e
f
X
k
+
λ
k
×
N
(
X
k
)
(
公
式
33
)
X_{k+1}\stackrel{\mathrm{def}}{=} X_{k}+\lambda_k \times N(X_k) \qquad (公式33)
Xk+1=defXk+λk×N(Xk)(公式33)
1133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
