关于牛顿法搜索方向的相关证明
关于之前介绍牛顿法中提出的：牛顿法的搜索方向不一定就是下降方向。
既然说牛顿法的搜索方向可以不是下降方向，那我们就必须知道在满足什么条件下牛顿法的搜索方向才是下降方向呢？下面先看一个定理：
设
f
f
f：
R
n
R^{n}
Rn->
R
1
R^{1}
R1在点
x
∈
R
n
x\in{R^n}
x∈Rn可微。若存在
p
∈
R
n
p\in R^{n}
p∈Rn,使：
∇
f
(
x
)
T
p
<
0
\nabla f(x) ^{T} p<0
∇f(x)Tp<0
则向量
p
p
p是
f
f
f在点
x
x
x处的下降方向。
在牛顿法中我们知道搜索方向为
−
∇
2
f
(
x
)
−
1
∇
f
(
x
)
-\nabla^{2}f(x)^{-1}\nabla f(x)
−∇2f(x)−1∇f(x)，所以就可以认为
p
=
−
∇
2
f
(
x
)
−
1
∇
f
(
x
)
p=-\nabla^{2}f(x)^{-1}\nabla f(x)
p=−∇2f(x)−1∇f(x)，只需要证明下面的式子成立即可：
−
∇
f
(
x
)
T
∇
2
f
(
x
)
−
1
∇
f
(
x
)
<
0
-\nabla f(x) ^{T}\nabla^{2}f(x)^{-1}\nabla f(x)<0
−∇f(x)T∇2f(x)−1∇f(x)<0
即等价于证明：
∇
f
(
x
)
T
∇
2
f
(
x
)
−
1
∇
f
(
x
)
>
0
\nabla f(x) ^{T}\nabla^{2}f(x)^{-1}\nabla f(x)>0
∇f(x)T∇2f(x)−1∇f(x)>0
而上述证明又可以化简为：
∇
2
f
(
x
)
−
1
>
0
\nabla^{2}f(x)^{-1}>0
∇2f(x)−1>0
这其实就是黑塞矩阵正定的条件。也就是需要满足当前点的黑塞矩阵是正定的才能保证牛顿法的迭代方向一定是沿着函数值下降的方向。
而牛顿法在迭代过程中是不一定就能保证每次迭代所求得的黑塞矩阵都是正定的，所以说牛顿法的迭代方向不一定就是函数值的下降方向。
5110
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
