最小二乘法介绍

最小二乘法：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

公式：

下面主要介绍用矩阵求导的推导和最小二乘法的几何解释（此时y(x)为线性函数）。

在最小二乘法的基础上求最佳系数（利用矩阵求导）

设：

其中：

用矩阵表示为：

要使数据点越吻合该线性函数，则需求得W使上式最小，因此我们令它对W求导：

令上式等于0，得：

即，最佳系数W为：

接下来介绍最小二乘法的几何解释

几何解释：

我们先来看下面的一个例子:

下图有3个二维点(1,2),(0,2),(2,3)，我们要找一个最适合的直线去拟合它

也就是需要找到w=(w0,w1),使得w0*x0+w1*x1=y，其中向量x0=(1,1,1),向量x1=(1,0,2),向量y=(2,2,3)

但很明显三个向量x0，x1，y不在同一个平面内，因此找不到这样的w满足条件，因此我们寻找一个最适合的w，使结果最为接近，此时y'=w0*x0+w1*x1为y在x0，x1平面的投影，此时y-y'与x0，x1垂直

而拓展到m个n维点，则：

在m+1维空间中，有n个x向量和一个向量y，我们的目的是找到一个系数向量w，使得y=wx，但实际上很难做到，所以我们要找到一个最接近y的wx，这时wx是y在n个x向量组成的空间的投影，误差为：y-wx，且y-wx与x垂直，即：

化简得：

即最佳系数为：