预测数值型数据：回归

分类的目标变量是标称型数据，而这里将会对连续型的数据作出预测。

1.1 用线性回归找到最佳拟合直线
回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。这个公式就是所谓的回归方程，求公式里的回归系数就是回归。一旦有了这些回归系数，再给定输入，做预测就非常容易了。具体的做法是用回归系数乘以输入值，再将结果全部加在一起，就得到了预测值。
应当怎样从一堆数据里求出回归方程呢？假定输入数据存放在矩阵X中，而回归系数存放在向量w中。那么对于给定的数据x1，预测结果将会通过$Y1=x_1^Tw$给出。现在的问题是，手里有一些X和对应的y，怎样才能找到w呢？一个常用的方法就是找出使误差最小的w。这里的误差是指预测y值和真实y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我们采用平方误差。平方误差可以写做：$\sum_{i=1}^m(y_i-x_i^Tw)^2$。用矩阵表示还可以写做$(y-Xw)^T(y-Xw)$。如果对w求导，得到x^T(Y-Xw)，令其等于零，解出w如下：