linear regression 线性回归

本篇讲述linear regression线性回归模型。参考资料为http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex2/ex2.html。这个网站很好的是同时提供了源代码，可以直接在matlab上跑。因为之前比较了解，所以视频是跳着看的。同时参考了<pattern analysis and machine learning>中的第三章。这本书对linear regression的本质解释的更清楚。

在所有讨论之前，我们先把linear regression线性回归的模型画出来吧，给大家一个直观的感受

图0. linear regression线性回归模型

这就是linear regression的模型了。接下来我们引入我们的问题。

问题

首先考虑如下的一个例子（例程源码来自这里）

图1

求如何进行拟合？

模型建立

我们很自然的想到可以用直线拟合

（1）

给定预测值，每个样本点发生的概率服从正态分布，为

（2）

即