matlab实现最速下降法

matlab实现最速下降法
定义：沿负梯度方向进行搜索的算法（负梯度方向为最速下降方向）

算法步骤：

步0：选取初始点x0，容许误差是e=[0~1],令k=1

步1：计算目标函数的梯度.若 ||gk||<=e，即达到误差要求,立即停止计算，并输出xk作为近似最优解。

步2:取搜索方向为dk=-gk（即负梯度方向）。

步3：利用线搜索技术确定步长k（这里采用Armijo准则来求步长） 

步长为k=^mk       是给定的，所以要求出mk

Amrijo准则就是

（1）给定（0~1），（0，0.5），令m=0

（2）若不等式

f(xk+^m*dk)<=f(xk)+*^m*gk'*dk

成立，则令mk=m，Xk+1=xk+^m*dk.停止运算，输出mk得到步长

（3）若不满足上述不等式，则令m=m+1，然后回到第二步。

步4：确定步长后，令Xk+1=Xk+k*dk，k=k+1，转步骤1.

matlab 具体代码如下：

1.主函数

clear all
clc
%利用grad函数求解 minif(x)=100*(x1^2-x2)^2+(x1-1)^2
%此时还要建立两个函数，一个目标函数fun,一个梯度gfun
x0=[-1.2 1]';
[x,val,k]=grad('fun','gfun',x0);
disp(['最优解：x = '])
disp(x)
disp(['此时: f(x) = ',num2str(val)]) 

 2.最速下降法

function [x,val,k] = grad(fun,gfun,x0)
%功能：用最速下降法求解无约束问题 minif（x）
%输入：fun，gfun分别是目标函数和梯度，x0是初始点
%输出：x,val分别是近似最优值和最优值，k是迭代次数
maxk=5000; %最大迭代次数
rho=0.5;
sigma=0.4;
k=0;
e=1e-5; %精度
while(k<maxk)
    g=feval(gfun,x0); %计算梯度
    d=-g;
    if(norm(d)<e),break;end
    %用Amrijo搜索技术确定步长
    m=0;mk=0;
    while(m<20) %最大迭代次数
       if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d)
           mk=m;
           break;
       else 
           m=m+1;
       end
    end
    x0=x0+d*rho^mk;
    k=k+1;
end
x=x0;
val=feval(fun,x0);
end

 3.目标函数

function f= fun(x)
%目标函数
f=100*(x(1)^2-x(2))^2+(x(1)-1)^2;
end

4.目标函数的梯度

function  g=gfun(x)
%目标函数的梯度
g=[400*x(1)*(x(1)^2-x(2))+2*(x(1)-1),-200*(x(1)^2-x(2))]';
end

5.运行结果