最速下降法与共轭梯度法

第六节 最速下降法与共轭梯度法

     6.1 最速下降法
当方程组
      Ax = b (1)
中的A为对称正定矩阵时，方程组Ax=b的解正好是二次函数

      (2)

的唯一极小值点。求解方程组(1)的问题等价与求 

       (3)

问题。求解问题(3)的最简单的方法是所谓最速下降法，即从某个初始点 x⁽⁰⁾  出发，沿 φ(x) 在点 x⁽⁰⁾  处的负梯度方向 
       (4)
(称为搜索方向)求得 φ(x) 的极小值点 x⁽¹⁾  , 即 
       (5)
然后从 x⁽¹⁾  出发，重复上面的过程得到 x⁽²⁾  。如此下去,得到序列{ x^(k)  }
 
       (6)

可以证明，从任一初始点 x⁽⁰⁾  出发， 用最速下降法所得到的序列{ x^(k)  }均收敛于问题(3)的解，也就是方程组(1)的解。其收敛速度取决于
      
其中 λ₁ ,λ_n  分别为A的最小,最大特征值。最速下降法迭代格式：给定初值 x⁽⁰⁾ ,x^(k)  按如下方法决定

  

例8 用最速下降法求解 对称正定方程组    解：过程如图所示。  　  6.2 共轭梯度法

共轭梯度法简称 CG(Conjugate Gradient) ,其基本步骤是在点 x^(k)  处选取搜索方向 d^(k)  , 使其与前一次的搜索方向 d^(k-1)  关于 A 共轭，即
 
          <d^(k) ,Ad^(k-1) > = 0 k=1,2,… (7) 

然后从点 x^(k)  出发，沿方向 d^(k)  求得 φ(x) 的极小值点 x^(k+1)  , 即 

          (8)

如此下去, 得到序列{ x^(k)  }。不难求得(7)的解为
 
         

注意到 d^(k)  的选取不唯一，我们可取 d^(k) = -▽φ(x^(k) )+β_k-1 d^(k-1)  , 由共轭的定义(7)可得
        
共轭梯度法的计算过程如下：

第一步：去初始向量 x⁽⁰⁾  , 计算

        

 第 k+1 步 (k=1,2,…) ：计算

        

 例8 用共轭梯度法求解对称正定方程组
 
        

解      

迭代过程如图所示

  

故 x² = (1,1)^T  就是 φ(x) 的最小点，也就是索求方程的解。