什么是回归？

       什么是回归？回归实际上就是“最佳拟合”。

       根据已有的数据拟合出一条最佳的直线、曲线、超平面或函数等，用于预测其它数据的目标值。如已知一系列的点(x,y)，我们可能就可以拟合出一条最佳的直线y=kx+b。那么如果已知自变量x，要预测目标值y的话，就可以直接带入到该直线方程中求出y。

       回归的目的就是预测数值型的目标值。

       下面介绍几种常见的回归方式。

       最简单的回归就是线性回归。线性回归就是将输入项分别乘以一些常量，再将结果相加起来得到输出。在二维情况下，线性回归得到的是一条直线；在三维情况下，线性回归得到的是一个平面或直线（因为乘的常量可能为0）。

线性回归方程可以用向量或矩阵的方式写成：

如果把输入数据存放在矩阵X中，则

       那么如何判断拟合出来的方程是否为最好的呢？最常用的方法就是找出使得预测y值与真实y值相差最小的w。为了防止正差值与负差值相互抵消，我们采用平方误差：

用矩阵表示可以写成：