[最优化]求解线性方程组(2)

求解线性方程组(2)

线性方程组的最小范数解

上一篇博文介绍了线性方程组的情况之一，即未知数数量小于方程个数的情况，介绍了最小二乘法，在本文中将介绍线性方程组的另一种情况，即方程个数小于未知数数量的情况，此时方程组有无限多的解，但是最接近原点的解，即范数最小的解只有一个，也就是这里将会介绍的线性方程组的最小范数解。

考虑线性方程组$Ax=b$，其中$A\in R^{m*n},m\le n$，要寻找其最小范数解，即相当于求解下列最优化问题：

$$minimize\ ||x||\\ subject\ to\ Ax=b$$
这个问题属于等式约束的最优化问题，可以利用拉格朗日乘子法求解，在这里我们介绍另外一种方法。

先给出结论，该方程组的最小范数解为$x^{*}=A^{T}(AA^{T})^{-1}b$，下面给出证明：

||x||2=||(x−x∗)+x∗||2=