机器学习５——多元回归及其代码实现

本博客整理自coursera，欢迎转载交流。

Features

　　在简单的一元线性回归模型中，我们的features一般是指一些我们现有的变量。其实，在真正的使用中更重要的可能是如何定义这些特征，我们可以用一些量的函数组合来表示特征。比如预测房价，我们可以用面积，浴室个数……表示特征，也可以用log(面积)，浴室个数的平方……表示特征，那么我们的模型表示为：

$y _i = w _0 h 0 (x _i ) + w_ 1 h_ 1 (x_ i ) + ... + w_D h _D (x_ i )+ ε_ i$
　　=$\sum_{j=0}^Dw_ j h_ j (x_ i )+ε_ i$
　　这里的h就是我们的特征，所谓线性回归是指系数Ｗ是线性，但是特征h可以是非线性组合。

　　讲到这里我么你＝就可以稍微改变一下我们的模型了（我们的原始数据是Training Data也即是Ｘ，我们需要通过Featyre extraction提取特征）：
　　
　　

解释系数的意义

　　对于线性模型我们可以这样解释$w_1,w_2, ...$的意义，以下面的模型为例，我们想要解释$\hat{w}_1$的意义，我们需要把其他的系数作为常量，截取超平面，则可以了解到$\hat{w}_1$的意义是两个平面交线的斜率。
　　

　　注意：多项式函数不可以这么解释！
　　　　　　

建立多元回归模型

数学描述法

　　我们已经得到上述模型：
　　$y _i = w _0 h 0 (x _i ) + w_ 1 h_ 1 (x_ i ) + ... + w_D h _D (x_ i )+ ε_ i$
　　= <