关于李航《统计学习方法》中的知识点整理——最小二乘法

　　《统计学习方法》第11页在讨论过拟合与模型选择时给出了一个多项式函数拟合的例子，

　　对于给定的数据集 T={(x1,y1)、（x2,y2）···（xN,yN)}. 其中xi是输入的观测值，yi是输出的观测值。假设给定的数据由M次多项式函数生成，选择最有可能产生这些数据的M次多项式函数。

　　设M此多项式为：
     
　　其中x为单变量输入。
　　首先确定模型的复杂度，即确定多项式的次数；然后再给定的复杂度下，该问题转化为求解一下经验风险最小化：
　　   

　　书中提及此题的经验风险最小化可以使用最小二乘法求的唯一解，下面，介绍最小二乘法（least square method）。

　最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。——摘自百度百科

　　为了便于理解，结合上述实例采用最小二乘法的矩阵解法：

　　我们考虑超定方程　：

　　   

　　我们首先确定多项式的次数为M，此时w0,w1···wM就可以写成一个参数向量 ：
                   
　　　　　　　　　　　　　　

　　将训练数据集中的每一个输入x转化为一个M+1维行向量，并将N个行向量组成一个N*（M+1）的矩阵：
                
　 　　　　　　　　　　

　　将训练数据集中的所有的输出y写成一个列向量的形式：
                   
　　　　　　　　　　　 　　

　　这时，就可以将经验风险矩阵化，写成如下形式：
           
　　　　　　　　　　

　　为了使函数L取得最小值，我们对w进行求导 (这时候，为什么函数要乘一个1/2就显而易见了)得到：

　　　　    　　　　　　

　　令导函数等于0，函数取得最值，因此当XTX为非奇异矩阵时，w有唯一解：
           
　　注：若XTX不可逆，则可以通过增加正则项，使其变为满秩矩阵再求解。