矩陣分析-線性系統-2 高斯消元法、高斯－若爾當消元法

http://www.cnblogs.com/pegasus/archive/2011/07/31/2123195.html  

1. 高斯消元法

高斯消元法（Gaussian elimination）是求解線性方陣組的一種算法，它也可用來求矩陣的秩，以及求可逆方陣的逆矩陣。它通過逐步消除未知數來將原始線性系統轉化為另一個更簡單的等價的系統。它的實質是通過初等行變化（Elementary row operations），將線性方程組的增廣矩陣轉化為行階梯矩陣（row echelon form）。總結起來，如下步驟所示

 

以下面方程組為例，它的執行步驟為

                          

1）構造增廣矩陣，即系數矩陣A增加上常數向量b（A|b）

                          

2）通過以交換行、某行乘以非負常數和兩行相加這三種初等變化將原系統轉化為更簡單的三角形式（triangular form）

     注：這裡的初等變化可以通過系數矩陣A乘上初等矩陣E來實現

                         

3）從而得到簡化的三角方陣組，注意它更容易解

                         

4）這時可以使用向後替換算法（Algorithm for Back Substitution）求解得

    z=-4/-4=1,  y=4-2z=4-2=2,  x= (1-y-z)/2=(1-2-1)/2=-1

 

總結上面過程，高斯消元法其實就是下面非常簡單的過程

                            原線性方程組       ——>       高斯消元法     ——> 下三角或上三角形式的線性方程組           ——>  前向替換算法求解（對於上三角形式，采用後向替換算法）

                                  

 

2.高斯－若爾當消元法（Gauss-Jordan Elimination）

相對於高斯消元法，高斯－若爾當消元法最後的得到線性方程組更容易求解，它得到的是簡化行列式。其轉化後的增高矩陣形式如下，因此它可以直接求出方程的解，而無需使用替換算法。但是，此算法的效率較低。

                             

 

例子如下：

          解為

 

3.實際應用中的高斯消元法

前面介紹了最基本的高斯消元法，現在看看應用於實際問題的實用算法。

3.1 誤差

因為實際應用中，我們總是利用計算機來分析線性系統，而計算機中以有限的數來近似無限的實數，因此產生舍入誤差（roundoff error），進而對解線性系統產生很多影響。

 

一個t位（即精度為t）以為基的浮點數的表達形式為：，。對於一個實數x，其浮點近似值為最接近x的浮點數，必要時進行近似。

例1：對2位以10為基的浮點算法，。

例2：同樣考慮，。

 

以下面系統為例，看看在高斯消元中采用浮點算法會產生什麼效果。

                                                                           

當以精確解法時，通過將第一行乘以m=89/47，並從第二行中減去得到，進而利用後向替換算法得x=1，y=-1。

當以3位以10為基的浮點算法時，乘子變為，因為，因此第一步高斯消元後得

。此時，因為不能將第2行第1列位置變為0，所以不能將其三角化。從而，我們只能接受將這個位置值賦為0，而不管其實際浮點值。因此，3位浮點高斯消元的結果為，後向算法計算結果為。

3.2 部分主元消元（Partial Pivoting）

盡管無法消除近似誤差的影響，可以采用一些技術來盡量減小這類機器誤差。部分主元消元法在高斯消元的每一步，都選擇列上最大值為軸（通過行變換將其移動）。

3.