矩陣分析-線性系統-5 最小二乘問題（The Least Squares Problem）

http://www.cnblogs.com/pegasus/archive/2011/11/10/2244472.html  

1. 引文

假設我們要確定一根繩子的彈性，而它的長度與拉力間服從公式，F為拉力，l為繩子在拉力F作用下的長度，e和k為待確定的常數。為此，我們進行一批實驗采集如下數據，並繪制其散點圖

                                                                           

根據此數據，構造的公式及其矩陣形式為

                                                                 

要解此方程需要利用最小二乘方法。

2. 最小二乘方法

對於上例所示的系統，A為m*n且m>n的矩陣，被成為超定的（overdetermined）。一般，它沒有解。例如，當m=3，n=2時，A的兩個列向量和在空間圖形如下，我們希望能獲得此列向量的線性組合以使。從圖中，可清楚看出這是不可能的，因為b並不在和張成的空間中。

                                                   

這時，因為無法求求解，退而求其次，我們希望解x1和x2使殘差向量（residual vector）盡可能小。當然，這時解就依賴於如何度量殘差向量的長度。在最小二乘方法中使用歐氏距離，問題轉換為下面優化問題

                                                     

由上面圖形可知，當線性組合使殘差變量與品面正交時，向量b到此平面的距離最小。表達為公式把代入上式有，解此公式就得到最小二乘意義下的解。

                                                 ，稱為正規方程組（normal equations）

定理：若A的列向量線性獨立，則是非奇異的，並且有唯一解。

3. 案例分析

                          

利用matlab

>> C=A』*A % Normal equations 
C= 5 15 
15 55 
>> x=C\(A』*b) 
x = 4.2360 
3.2260

 

注意，利用正規方程組解最小二乘問題有以下缺陷：

1）構造會導致信息丟失

2）的條件數是A的平方

3.1 會導致信息

對於，。當非常小時，會造成的浮點表達，從而導致正規方程組為奇異的。因此，A中重要信息在中丟失了

 

3.2條件數大