最优化理论——牛顿-最速下降混合算法

算法

引言

牛顿法要求目标函数的Hess矩阵 $G(x)={▽}^{2}f(x)$ 在每个迭代点 $x_k$ 处是正定的，否则，难以保证牛顿方向 $d_k=-G_k^{-1}{g}_k$ 是$f$在$x_k$处的下降方向。为克服这一缺陷，可对牛顿法进行修正，修正的途径之一就是将牛顿法和最速下降法结合起来，构造“牛顿-最速下降混合算法”

算法思想

当 ${▽}^{2}f(x)$ 正定时，采用牛顿方向作为搜索方向；否则，若 ${▽}^{2}f(x)$ 奇异，或者虽然非奇异，但牛顿方向不是下降方向，则采用负梯度方向作为搜索方向。

算法步骤

算法代码

Matlab代码如下（由阻尼牛顿法修改而来，不保证绝对正确，若有错欢迎指正）：

function [x,val,k]=gradnm(fun,gfun,Hess,x0)
%功能: 用牛顿-最速下降混合算法求解无约束问题:  min f(x)
maxk=100;  %给出最大迭代次数
rho=0.55;sigma=0.4;
k=0;  epsilon=10^(-5);
while(k<maxk)
    gk=feval(gfun,x0); %计算梯度
    Gk=feval(Hess,x0);  %计算Hesse阵
    dk=-Gk\gk; %解方程组Gk*dk=-gk, 计算搜索方向
    if((gk'*dk)<0)
        dk=-Gk\gk;%牛顿下降方向
    else
        dk=-gk;%最速下降方向
    end
    if(norm(gk)<epsilon), break; end  %检验终止准则
    m=0; mk=0;
    while(m<20)   % 用Armijo搜索求步长 
        if(feval(fun,x0+rho^m*dk)<feval(fun,x0)+sigma*rho^m*gk'*dk)
            mk=m; break;
        end
        m=m+1;
    end
    x0=x0+rho^mk*dk;
    k=k+1;
end
x=x0;
val=feval(fun,x); 

示例

3.编写牛顿—最速下降混合算法的Matlab程序，并求解无约束优化问题
$$minf(x)=4x_1^2+x_2^2-x_1^2{x}_2$$
该问题的初始点取x=(1,1)T，$ϵ=10^{-5}$，记录前20次迭代点列.

fun1函数文件：

function f=fun1(x)
f=4*x(1)^2+x(2)^2-x(1)^2*x(2);

gfun1函数文件：

function gf=gfun1(x)
gf=[8*x(1)-2*x(1)*x(2), 2*x(2)-x(1)^2]';

Hess1函数文件：

function He=Hess1(x)
n=length(x);
He=zeros(n,n);
He=[8-2*x(2), -2*x(1); -2*x(1),2];

交互界面输入：

x=[1,1]'
[x,val,k]=gradnm('fun1','gfun1','Hess1',x)

结果：

初始点	最优点x	迭代次数k	目标函数值f(x)
(1,1)T	(0.0326,-0.2196)T*1.0e-05	3	5.2496e-12