最小二乘的几何解释

最小二乘主要用来做线性回归。

数据集形式为：(X,T),X ,T 分别代表自变量与因变量。用矩阵来表示训练数据时，往往每行代表一个数据。假设w 是回归系数，与x的维数相同。那么最小二乘估计形式为：    ，L是loss function，包含了训练数据的所有误差，把误差分散在每个训练数据上。L(W）展开后的形式为：

。对展开式关于W求导后令倒数为0，得到      这就是回归系数的解析解。

下面我们看下几何解释：

如果我们对矩阵X以列的形式看，那它就形成一个p 维的子空间。由于噪声等影响，Y是一般是不在p维子空间上的。另外 ，考虑N维空间，坐标轴由