奇异值分解求解最小二乘法问题

最小二乘法问题原最优化解：

使用到XTX 的逆矩阵，这种求解方式有几个问题： 

1. 涉及到n*n维矩阵的求逆运算，实际使用中计算量巨大。 

2. 可能不可逆，这个可以用l2正则或者求解伪逆的形式解决。

现实任务中XTX 往往不是满秩矩阵，不可逆而无法直接得出最优解。

 

对比以上方式求解最小二乘法与奇异值分解的求法差异：限定问题为多元线性回归。

考虑上述问题用奇异值分解来求解。

 

在西瓜书线性判别分析章节中，目标值w需对Sw 进行奇异值分解。Sw 为章节中意为不同类的协方差矩阵加和。使用奇异值分解可更快速求解。