数据挖掘学习--多元线性回归算法

1.多元线性回归算法

前面学习了简单的线性回归算法，简单的线性回归算法的数据值得是属性只有一项，同时也对应有一个类别值。那么这样的数据就是在二维空间上就是一个点，那么回归后在一个二维空间上就是一条回归直线，就有回归方程。那么对应的，在碰到数据不止一个属性值（N>=2），此时就归为了多元回归算法，那么就是在N维空间中找到那个可以映射的回归图形。

2.数学理论

如前面所说，简单的线性回归算法里面就是会有二维空间的数据点(x,y)，而在多元线性回归算法中，每一个数据项的组成形式是一个向量 **x** = (x1 , x2 , x3 , ... , xn)总共有n项。而如果m个数据项的话，那么数据集将会是一个(m * n)的矩阵，每一行就是一个数据项。
从结果上考虑，那么我们要找的回归方程是 y_hat = θ0 + θ1 * x1 + θ2 * x2 + θ3 * x3 + ... + θn * xn，其中待预测的数据项**x** =  (x1 , x2 , x3 , ... , xn)，问题就转化为是求参数**θ** = (θ0 + θ1 + θ2 + θ3 + ... + θn)，而找到这个最佳的标准就是线性回归方程是最优的。而我们判断优劣是通过比较方程的总残差，即

那么通过把 y_hat = θ0 + θ1 * x1 + θ2 * x2 + θ3 * x3 + … + θn * xn = X_b · θ代入࿰