求解线性方程组(2)
线性方程组的最小范数解
上一篇博文介绍了线性方程组的情况之一,即未知数数量小于方程个数的情况,介绍了最小二乘法,在本文中将介绍线性方程组的另一种情况,即方程个数小于未知数数量的情况,此时方程组有无限多的解,但是最接近原点的解,即范数最小的解只有一个,也就是这里将会介绍的线性方程组的最小范数解。
考虑线性方程组 Ax=b A x = b ,其中 A∈Rm∗n,m≤n A ∈ R m ∗ n , m ≤ n ,要寻找其最小范数解,即相当于求解下列最优化问题:
minimize ||x||subject to Ax=b m i n i m i z e | | x | | s u b j e c t t o A x = b
这个问题属于等式约束的最优化问题,可以利用拉格朗日乘子法求解,在这里我们介绍另外一种方法。
先给出结论,该方程组的最小范数解为 x∗=AT(AAT)−1b x ∗ = A T ( A A T ) − 1 b ,下面给出证明:
||x||2=||(x−x∗)+x∗||2=