最小二乘法

关于最小二乘法  ，百度百科给出的 解释个人觉得还是很棒的，简单易懂。所有拿过来，做个备份。

 

 

最小二乘法： 是一种数学优化技术，通过极小化误差平方和 来寻找数据的最佳匹配函数。

 

基本公式

考虑超定方程组（未知数个数小于方程个数）                 (i=1,2,.....m) 

m 代表m个样本，n代表n个特征，m>n，将其向量化X=y

    

        

 

然该方程组一般而言没有解，所以为了选取最合适的  让该等式"尽量成立"，引入残差平方和函数S

                                                       

当  时，  取最小值，记作：   通过对 进行微分 ] 求最值，可以得到：

                                                                

如果矩阵  非奇异则  有唯一解 ：

                                             

，

至于如何微分求出    ，涉及到 矩阵求导 ，可参看吴恩达《机器学习》视频 第二讲 50分钟 左右

 

 

可是 现实中 往往是  m<n  的 ，即 特征数大于样本数    。因此会解出多个    。