PCA--主成分分析（Principal components analysis）-最小平方误差解释

               

最小平方误差理论

     

     假设有这样的二维样本点（红色点），回顾我们前面探讨的是求一条直线，使得样本点投影到直线上的点的方差最大。本质是求直线，那么度量直线求的好不好，不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等，目的也是求一个线性函数使得直线能够最佳拟合样本点，那么我们能不能认为最佳的直线就是回归后的直线呢？回归时我们的最小二乘法度量的是样本点到直线的坐标轴距离。比如这个问题中，特征是x，类标签是y。回归时最小二乘法度量的是距离d。如果使用回归方法来度量最佳直线，那么就是直接在原始样本上做回归了，跟特征选择就没什么关系了。

     因此，我们打算选用另外一种评价直线好坏的方法，使用点到直线的距离d’来度量。

     现在有n个样本点，每个样本点为m维（这节内容中使用的符号与上面的不太一致，需要重新理解符号的意义）。将样本点在直线上的投影记为，那么我们就是要最小化

     

     这个公式称作最小平方误差（Least Squared Error）。

     而确定一条直线，一般只需要确定一个点，并且确定方向即可。

     第一步确定点：

     假设要在空间中找一点来代表这n个样本点，“代表”这个词不是量化的，因此要量化的话，我们就是要找一个m维的点，使得

     

     最小。其中是平方错误评价函数（squared-error criterion function），假设m为n个样本点的均值：

     

     那么平方错误可以写作：

     

     后项与无关，看做常量，而，因此最小化