最优化理论——共轭梯度法

算法思想

共轭方向法：

共轭梯度法：

算法步骤

共轭方向法：

共轭梯度法：

代码

Matlab代码如下：

function [x,val,k]=frcg(fun,gfun,x0)
% 功能: 用FR共轭梯度法求解无约束问题:  min f(x)
%输入:  x0是初始点, fun, gfun分别是目标函数和梯度
%输出:  x, val分别是近似最优点和最优值,  k是迭代次数.
maxk=5000;   %最大迭代次数
rho=0.6;sigma=0.4;
k=0;  epsilon=1e-4; 
n=length(x0);
while(k<maxk)
    g=feval(gfun,x0);  %计算梯度
    itern=k-(n+1)*floor(k/(n+1));
    itern=itern+1;
    %计算搜索方向
    if(itern==1)  
        d=-g;  
    else
        beta=(g'*g)/(g0'*g0);
        d=-g+beta*d0;  gd=g'*d;
        if(gd>=0.0)
            d=-g;  
        end
    end
    if(norm(g)<epsilon), break; end   %检验终止条件
    m=0; mk=0;
    while(m<20)   %Armijo搜索
        if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d)
            mk=m; break;
        end
        m=m+1;
    end
    x0=x0+rho^mk*d;
    val=feval(fun,x0);
    g0=g;  d0=d; 
    k=k+1;
end
x=x0;
val=feval(fun,x); 

示例

考虑无约束优化问题
$$minf(x)=100(x_1^2-x_2{)}^2+(x_1-1{)}^2$$
该问题有精确解x=(1,1)T，$f(x)=0$.

fun函数文件：

%目标函数
function f=fun(x)
f=100*(x(1)^2-x(2))^2+(x(1)-1)^2;

gfun函数文件：

%梯度
function gf=gfun(x)
gf=[400*x(1)*(x(1)^2-x(2))+2*(x(1)-1), -200*(x(1)^2-x(2))]’;

交互界面输入：

x0=[-1,1]’;
[x,val,k]=frcg(’fun’,’gfun’,x0)

结果：