MATLAB——最基本的线性共轭梯度法求解凸二次函数问题极小值问题

一.求解Ax=b

注意：
1.最基本的共轭梯度法（也可叫做线性共轭梯度法）只适用于求解二次凸函数的极小值问题;
2.本次例子使用的就是最基本的共轭梯度法，即搜索方向采用共轭方向，因为求解Ax=b问题等价于求解二次凸函数f(x)=1/2x’Ax-b’x;
3.该使用精确线搜索确定步长(可尝试使用非精确线搜索如Armijo，Goldstein，Wolfe，强Wolfe);
4.对于一般函数需要使用非线性共轭梯度法例如FR、PR+、HS、DY。

function FR_CG()
A = [10 1 2 3 4
    1 9 -1 2 -3
    2 -1 7 3 -5
    3 2 3 12 -1
    4 -3 -5 -1 15];
b=[12 -27 14 -17 12]';
x0=[0 0 0 0 0]';
max_iter=10000;

fprintf('\n');
fprintf('共轭梯度法:\n');
fprintf('==========================\n');
[x,iter]=FR(A,b,x0,max_iter)
fprintf('共轭梯度法')
fprintf('迭代初始点\n')
fprintf('   %10.6f',x0);
fprintf('\n迭代次数：\n %d \n',iter)
fprintf('方程组的解： \n')
fprintf('   %10.6f',x);
end

function [x,iter]=CG(A,b,x0,max_iter)
x=x0;
r=A*x-b;
d=-r;
epsilon=1.0e-6;
for k=0:max_iter
    alpha=(r'*r)/(d'*A*d);
    x=x+alpha*d;
    rr=r+alpha*A*d;
    if norm(rr,2)<=epsilon
        iter=k+1;
        return%return iter,x
    end
    beta=(rr'*rr)/(r'*r);
    d=-rr+beta*d;
    r=rr;
end
iter=max_iter;
return
end

结果输出：

共轭梯度法迭代初始点
     0.000000     0.000000     0.000000     0.000000     0.000000
迭代次数：
 5 
方程组的解： 
     1.000000    -2.000000     3.000000    -2.000000     1.000000>> 

改进：
1.该方法是直接求解Ax=b
2.方法改进：1.求导 2.使用非精确线搜索确定步长(Armijo，Goldstein，Wolfe，强Wolfe)