简单线性回归

线性回归

回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。

比如：y=0.5x1+0.6x2,这里的0.5，0.6是回归系数，求解回归系数的过程就是回归。

应该怎么从一大堆数据里求出回归方程呢？假定输入数据存放在矩阵X中，结果存放在向量y中：

而回归系数存放在向量w中：

 

那么对于给定的数据x1，即矩阵X的第一列数据，预测结果u1将会通过如下公式给出：

 现在的问题是，手里有数据矩阵X和对应的标签向量y，怎么才能找到w呢？一个常用的方法就是找出使误差最小的w。这里的误差是指预测u值和真实y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我们采用平方误差。

 

矩阵表示