算法
引言
牛顿法要求目标函数的Hess矩阵 G ( x ) = ▽ 2 f ( x ) G(x)=\bigtriangledown^2f(x) G(x)=▽2f(x) 在每个迭代点 x k x_k xk 处是正定的,否则,难以保证牛顿方向 d k = − G k − 1 g k d_k=-G_k^{-1}g_k dk=−Gk−1gk 是 f f f在 x k x_k xk处的下降方向。为克服这一缺陷,可对牛顿法进行修正,修正的途径之一就是将牛顿法和最速下降法结合起来,构造“牛顿-最速下降混合算法”
算法思想
当 ▽ 2 f ( x ) \bigtriangledown^2f(x) ▽2f(x) 正定时,采用牛顿方向作为搜索方向;否则,若 ▽ 2 f ( x ) \bigtriangledown^2f(x) ▽2f(x) 奇异,或者虽然非奇异,但牛顿方向不是下降方向,则采用负梯度方向作为搜索方向。
算法步骤
算法代码
Matlab代码如下(由阻尼牛顿法修改而来,不保证绝对正确,若有错欢迎指正):
function [x,val,k]=gradnm(fun,gfun,Hess,x0)
%功能: 用牛顿-最速下降混合算法求解无约束问题: min f(x)
maxk=100; %给出最大迭代次数
rho=0.55;sigma=0.4;
k=0; epsilon=10^(-5);
while(k<maxk)
gk=feval(gfun,x0); %计算梯度
Gk=feval(Hess,x0); %计算Hesse阵
dk=-Gk\gk; %解方程组Gk*dk=-gk, 计算搜索方向
if((gk'*dk)<0)
dk=-Gk\gk;%牛顿下降方向
else
dk=-gk;%最速下降方向
end
if(norm(gk)<epsilon), break; end %检验终止准则
m=0; mk=0;
while(m<20) % 用Armijo搜索求步长
if(feval(fun,x0+rho^m*dk)<feval(fun,x0)+sigma*rho^m*gk'*dk)
mk=m; break;
end
m=m+1;
end
x0=x0+rho^mk*dk;
k=k+1;
end
x=x0;
val=feval(fun,x);
示例
3.编写牛顿—最速下降混合算法的Matlab程序,并求解无约束优化问题
m
i
n
f
(
x
)
=
4
x
1
2
+
x
2
2
−
x
1
2
x
2
minf(x)=4x_1^2+x_2^2-x_1^2x_2
minf(x)=4x12+x22−x12x2
该问题的初始点取x=(1,1)T,
ϵ
=
1
0
−
5
\epsilon =10^{-5}
ϵ=10−5,记录前20次迭代点列.
fun1函数文件:
function f=fun1(x)
f=4*x(1)^2+x(2)^2-x(1)^2*x(2);
gfun1函数文件:
function gf=gfun1(x)
gf=[8*x(1)-2*x(1)*x(2), 2*x(2)-x(1)^2]';
Hess1函数文件:
function He=Hess1(x)
n=length(x);
He=zeros(n,n);
He=[8-2*x(2), -2*x(1); -2*x(1),2];
交互界面输入:
x=[1,1]'
[x,val,k]=gradnm('fun1','gfun1','Hess1',x)
结果:
初始点 | 最优点x | 迭代次数k | 目标函数值f(x) |
---|---|---|---|
(1,1)T | (0.0326,-0.2196)T*1.0e-05 | 3 | 5.2496e-12 |