共轭梯度法matlab代码_线性方程组(4)-变分原理与共轭梯度法

上一节讲到了静态迭代法。因为收敛太慢，更常用的还是非静态迭代法。

这里先从变分原理入手。考虑函数

若

对称，则函数的梯度

若

对称正定，则解方程

等价于求函数

的最小值。方程的残差

即为函数

的负梯度。

---

一维优化问题

假设已经得到了

步迭代的解

，在第

步中，沿

方向搜索最优解，即

代入函数表达式可得

最优的

取值应是

得到新的解后，新的残差

---

最速下降法（Steepest descent method）

搜索方向的最简单的取法就是取

，即负梯度方向，这就是优化问题中很常用的最速下降法。用MATLAB代码描述

function [x, iter] = sd_solve(A, b, x0, epsilon, iter_max)
    iter = 0;
    x = x0;
    r = b - A * x0;
    rr = dot(r, r);
    while sqrt(rr) >= epsilon && iter < iter_max
        iter = iter + 1;
        Ar = A * r;
        alpha = rr / dot(r, Ar);
        x = x + alpha * r;
        r = r - alpha * Ar;
        rr = dot(r, r);
    end
end

注意提取出了

和

两个公共表达式，避免了重复计算。

每一步迭代需要计算一次矩阵向量乘，两次向量内积，两次向量线性组合。

注意到

的计算可能有误差积累，干扰迭代终止条件的判断，使得迭代在达到要求的精度之前终止。可能的解决方法有：用