共轭梯度法
我们知道最速下降法和共轭梯度法的目的都是一致的,那就是通过变分法求解线性方程组。
大前提是该线性方程组的系数矩阵必须是对称正定矩阵
我们做用迭代法解线性方程组的时候只关注两件事情
1.方向
2.步长
方向是在求出梯度方向的前提下,添加正则项,使得前后两次方向互为共轭所得出的方向向量。
步长是使得该次下降达到最深位置的步长
代码如下
function [ X ] = conjugateGradient( A, b, X0, e )
%conjugateGradient: conjugate gradient method
%Input - A: coefficient matrix
% - b: constant term
% - X0: X0 is the initial value of item
% - e: e is the termination condition of iteration
%Output - X: the solution of equations
X = X0;
% r 为剩余向量
r = b-A*X;
% d 为下降方向
% 第0 步的下降方向为负的梯度方向
d = r;
%更新第0步的步长
alpha = (r.*d)/(d'*A*d);
%完成第一次迭代
X = X + alpha.*d;
%以后的搜索方向都是共轭的方向
while(norm(r)>e)
%更新新的梯度方向
r = b-A*X;
%更新方向
%更新上一次的方向在这一次方向的表达式上的系数
beta = -(r'*A*d)/(d'*A*d);%这里的d是上一次的下降方向
d = r + beta.*d;
%方向上的更新完成
%更新步长
alpha = (r.*d)/(d'*A*d);
X = X + alpha.*d;
end
end
测试
输入参数:
X0 = [0;0;0]
b = [1;1;1]
e = eps
挑一个对角占优的矩阵
结果如下:
验证一下:
测试成功!