[最优化]求解线性方程组(1)

求解线性方程组（1）

最小二乘分析

在本文中将讨论线性方程组中的一种情况的求解，即考虑线性方程组

$$Ax=b$$

其中，$A\in R^{m*n},b\in R^{m},m\ge n,rank(A)=n$，在这种情况下，未知数的数量小于方程的数量，所以在很大可能上$b$不在$A$的值域空间中，即方程组无解，但是此时可以得到该线性方程方程的最小二乘解，即存在$x^{*}$使得对于所有的$x\in R^{n}$都有

$$||Ax-b||^{2}\ge ||Ax^{*}-b||^{2}$$

即称$x^{*}$为该线性方程的最小二乘解，当$b$在$A$的解空间中时，$x^{*}$自然就是该方程的解，最小二乘解可以通过以下公式直接计算出来：