最优化理论——拟牛顿算法·对称秩 1 算法

算法思想

拟牛顿法

对称秩1法

算法步骤

代码

Matlab代码如下：

function [x,val,k]=sr1(fun,gfun, x0)
%功能: 用对称秩1算法求解无约束问题:  min f(x)
%输入: x0是初始点, fun, gfun分别是目标函数及其梯度
%输出:  x, val分别是近似最优点和最优值,  k是迭代次数.
maxk=500;   %给出最大迭代次数
rho=0.55;sigma=0.4; epsilon=1e-5; 
k=0;   n=length(x0); Hk=eye(n); 
while(k<maxk)
    gk=feval(gfun,x0); %计算梯度
    dk=-Hk*gk; %计算搜索方向
    if(norm(gk)<epsilon), break; end  %检验终止准则
    m=0; mk=0;
    while(m<20)   % 用Armijo搜索求步长 
        if(feval(fun,x0+rho^m*dk)<feval(fun,x0)+sigma*rho^m*gk'*dk)
            mk=m; break;
        end
        m=m+1;
    end
    x=x0+rho^mk*dk;  
    sk=x-x0;  yk=feval(gfun,x)-gk;
    Hk=Hk+(sk-Hk*yk)*(sk-Hk*yk)'/((sk-Hk*yk)'*yk); %秩1校正
    k=k+1;     x0=x;
end
val=feval(fun,x0); 

示例

考虑无约束优化问题
$$minf(x)=100(x_1^2-x_2{)}^2+(x_1-1{)}^2$$
该问题有精确解x=(1,1)T，$f(x)=0$.

fun函数文件：

%目标函数
function f=fun(x)
f=100*(x(1)^2-x(2))^2+(x(1)-1)^2;

gfun函数文件：

%梯度
function gf=gfun(x)
gf=[400*x(1)*(x(1)^2-x(2))+2*(x(1)-1), -200*(x(1)^2-x(2))]’;

交互界面输入：

x0=[-1,1]’;
[x,val,k]=sr1(’fun’,’gfun’,x0)

结果：