方程组最小二乘解的概念及其求解

首先说明一下，本文的标题本来是方程组最佳的最小二乘解的概念及其求解，但是咱们的CSDN提示标题夸张，最佳的最小二乘解真是没地方说理去。

圆规正转，在文章矩阵的广义逆——减号、加号广义逆的求法中已经介绍了矩阵的加号广义逆（M-P逆）的一种求解方法，即矩阵的满秩分解法。
矩阵的加号广义逆（M-P逆）还可由其性质求解，即若A是列满秩的，则A的加号广义逆为：

若A是行满秩的，则A的加号广义逆为：

这样在遇到行满秩或者列满秩矩阵时，A的加号广义逆就能够更容易的求出。
此外，矩阵的加号广义逆还可以由奇异值分解的结果来求得，奇异值的分解可参见：三角分解、满秩分解、Schur分解与奇异值分解一网打尽。

加号广义逆的一些性质和奇异值求解的方法见下图。

上面讲的这些都是为求方程组最佳的最小二乘解做准备。
最佳的最小二乘解： 设矩阵A(m∗n阶) ，b(m∗1阶) ，则

的最佳的最小二乘解。
推广： 设矩阵方程AX=B，其中A(m∗n阶) ，B(m∗k阶) ，则

的最佳的最小二乘解。
最佳的最小二乘解的例子见下图。

结合上一节的内容，矩阵的广义逆的求法已经学过三种方法，即满秩分解、利用性质和奇异值分解，这些方法的使用有所不同，其中最基本的还是满秩分解法，它具有普适性；利用性质求解虽然简单，但是要求矩阵是行满秩或列满秩的，如果不是，就需要用其他两种方法求解；奇异值分解法虽然也是一种计算的方法，但是计算量比较大，一般在已知奇异值分解的条件下才采用这种方法。