奇异值分解求解最小二乘法问题

最小二乘法问题原最优化解：

使用到XTX 的逆矩阵，这种求解方式有几个问题： 

1. 涉及到n*n维矩阵的求逆运算，实际使用中计算量巨大。 

2. 可能不可逆，这个可以用l2正则或者求解伪逆的形式解决。

现实任务中XTX 往往不是满秩矩阵，不可逆而无法直接得出最优解。

 

对比以上方式求解最小二乘法与奇异值分解的求法差异：限定问题为多元线性回归。

考虑上述问题用奇异值分解来求解。

 

在西瓜书线性判别分析章节中，目标值w需对Sw 进行奇异值分解。Sw 为章节中意为不同类的协方差矩阵加和。使用奇异值分解可更快速求解。

 

同理，在最小二乘法定义多元线性回归最优目标问题中，将目标值

转为使用协方差矩阵来定义的问题，同样可以对其使用奇异值分解来简单得至最优解。而不用担心是否不可逆问题。

 

奇异值分解SVD：

 

 

 

待后续增加：python 测试两种方式的结果不同与效果优劣选择

 

相关资料：

https://wenku.baidu.com/view/9bdfa60ff242336c1fb95e71.html

https://www.ixueshu.com/document/eb3f8c8f73882987318947a18e7f9386.html