Matlab实现 最速下降法&&共轭梯度法

盲人下山法：
在山顶上，小盲人拿着小拐棍，先确定方向，再确定步长，寻找下山的最优办法（即最短路径）。

上图伪码来自某 《数值线性代数》 教科书，非原创
下述代码是原创

最速下降法

function [er,k]=FastDown(A)
%定义最速下降法函数文件
%er:表示停机时实际绝对误差
%k:表示停机时实际迭代次数
tol=1e-6;
[n,m]=size(A);
if n~=m %判断输入的合法性
    error('Wrong Input!');
end
b=ones(n,1);
x=zeros(n,1);%初始化列向量
r=b-A*x;k=0;
 while norm(r,2)>tol
     k=k+1;
     a=(r'*r)/(r'*A*r);
     x=x+a*r;%下降方向取残量方向
     r=b-A*x;
 end
er=norm(b-A*x,2);

共轭梯度法

function [er,k]=ConGra(A)
%共轭梯度法求解正定线性方程组
%er:表示停机时实际的绝对误差
%k:表示停机时实际的迭代次数
tol=1e-6;%规定停机绝对误差限
[n,m]=size(A);
if n~=m %判断输入的合法性
    error('wrong input');
end
x=zeros(n,1); %初始化解向量
b=ones(n,1);
r=b-A*x;%当前残量
k=0;%记录迭代次数
while norm(r,2)>tol
    k=k+1;
    if k==1
        p=r;%第一步即最速下降法，取残量方向
    else
        q=(r'*r)/(rq'*rq);
        p=r+q*p;
    end
    a=(r'*r)/(p'*A*p);
    x=x+a*p;
    rq=r;
    r=r-a*A*p;
end
er=norm(A*x-b,2);

比较&总结：
从两种计算方法的结果来看，达到相近的绝对误差时，最速下降法需要的迭代次数明显高于共轭梯度法。这体现出相对于最速下降法选取局部最优下降方向，共轭梯度法中选取全局最优下降方向使得收敛速度更快。