线性回归1：最小二乘法及其几何意义

一 最小二乘法法

假设我们有以下样本点：

假设我们要拟合的直线为：

因此要拟合的直线可简化为：

我们期望每个样本点与所要拟合的直线距离最小。因此，应该对所有样本点与拟合直线上的点的误差之和最小，得最小二乘估计如下：

连加符号便于表示，但不好计算啊，为了求闭合解，要用矩阵和向量表示，因此将其展开，写成向量相乘的形式得：

接下来就是本科的线性代数知识了。观察左边，可以写成两个向量相减的形式：

还能化简吗？能提取出，得：

 

看到画横线的部分没有？这不就是我们最开始所定义的样本的向量表示嘛！还可以再简洁一点：

注意，到此只是对左边进行化简，右边就是转置一下就行了！因此，损失函数可化为：

为了展开求解，将转置符号去掉：

展开：

 

最终得到损失函数：

因此估计量w为使得损失函数最小。

求最小值，当然就要用到求导术，只不过这是矩阵求导：

二 几何意义

两个角度：

角度1：在坐标系图中，每个样本点与拟合直线间的距离即代表估计的误差。

角度2：若将所有样本组成的矩阵（即上面NxP的矩阵）的每个列向量组成一个向量空间。那么y与每个向量都垂直的时候拟合得最好。故y在向量空间的投影应该与法向量垂直。

y在向量空间的投影为：

所以

求解：

大家可以看到，这种通过几何意义解出来的结果与解析法是一样的！