无约束最优化问题的解法
我们希望得到 minxf(x) m i n x f ( x ) ,我们把 f(x) f ( x ) 泰勒展开可得
牛顿法
当 ∇2f(x) ∇ 2 f ( x ) 已知时,对 f(x+Δ) f ( x + Δ ) 求导,令倒数为0,可得
那么我们可以通过迭代公式
求解最优化问题,有时我们加个小于1的阻尼系数来增加算法的稳定性(阻尼牛顿法):
牛顿法的缺点也很明显:
- ∇2f(x) ∇ 2 f ( x ) 不容易求
- ∇2f(x) ∇ 2 f ( x ) 的逆不容易求
- ∇2f(x) ∇ 2 f ( x ) 太占空间
拟牛顿法
由牛顿法可知, x x 每步的前进方向
满足 ∇f(x)=Δ∇2f(x) ∇ f ( x ) = Δ ∇ 2 f ( x ) ,且 ∇f(xt+1)≈∇f(xt)+∇2f(xt)[xt+1−xt] ∇ f ( x t + 1 ) ≈ ∇ f ( x t ) + ∇ 2 f ( x t ) [ x t + 1 − x t ] 。
替代变量 Bt+1=∇2f(xt),Dt+1=[∇2f(xt)]−1 B t + 1 = ∇ 2 f ( x t ) , D t + 1 = [ ∇ 2 f ( x t ) ] − 1 ,再令 st=xt+1−xt,yt=∇f(xt+1)−∇f(xt) s t = x t + 1 − x t , y t = ∇ f ( x t + 1 ) − ∇ f ( x t ) ,那么有:
- yt=Bt+1st y t = B t + 1 s t
- st=Dt+1yt s t = D t + 1 y t
令 Dt+1=Dt+ΔDt=Dt+Pt+Qt D t + 1 = D t + Δ D t = D t + P t + Q t ,那么
令 Ptyt=−Dtyt,Qtyt=st P t y t = − D t y t , Q t y t = s t ,我们有