转自:https://zhuanlan.zhihu.com/p/131097680

SVD,Singular Value Decomposition,奇异值分解,作为线性代数中的重要工具,被应用在不同领域。本文只介绍如何使用这一工具求解

一句话解释:

1. SVD简介
wikipedia 有一个大概的介绍,这里借用一下图片


2. 伪逆 Pseudoinverse


注意:伪逆https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/Moore%25E2%2580%2593Penrose_inverse
3. 关于解的讨论


总结如下:

4. 例子
本节给出详细的例子介绍 【3. 关于解的讨论】中的情况,若已经理解前面的章节,可以跳过本节。
i.a. 方阵且满秩

i.b. 方阵但不满秩


ii.a. 细长且满秩

ii.b. 细长但不满秩


iii.a. 矮胖且满秩


iii.b. 矮胖但不满秩

本文没有介绍为什么通过SVD能够得到最小二乘解,感兴趣的话可以看 该文第十页