线性回归算法

一、具体实例

  第一个学习的算法是线性回归算法。下面通过一个实例开始。

  这是一个预测房价的实例，我们要使用一个数据集，数据集包含A市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是 50平米，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约左右500万的价格卖掉这个房子。这就是监督学习算法的一个例子。

  它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们:根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。回归一词指的是，我们根据之前的数据预测出一个准确的输出值，对于这个例子就是价格，同时，还有另一种最常见的监督学习方式，叫做分类问题，当我们想要预测离散的输出值，例如，我们正在寻找癌症肿瘤，并想要确定肿瘤是良性的还是恶性的，这就是 0/1 离散输出的问题。更进一步来说，在监督学习中我们有一个数据集，这个数据集被称训练集。

下面我们用m来表示训练样本的数量

以之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：

面积/平方米	价格/万元
10	100
20	206
30	310
40	423
50	546
60	700
70	770
80	892
90	1000
100	1136

我们将要用来描述这个回归问题的标记如下:

m  代表训练集中实例的数量

x  代表特征/输入变量

y  代表目标变量/输出变量

(x, y)  代表训练集中的实例

(x⁽ⁱ⁾, y⁽ⁱ⁾)  代表第i  个观察实例
h  代表学习算法的解决方案或函数也称为假设（hypothesis）

这就是一个监督学习算法的工作方式，我们可以看到这里有我们的训练集里房屋价格。

我们把输入给我们的学习算法，学习算法开始工作，然后输出一个函数，通常表示为小写 h表示。h  代表 hypothesis（假设），h表示一个函数，输入是房屋面积大小，就像你朋友想出售的房屋，因此 h 根据输入的 x值来得出 y  值，y  值对应房子的价格 因此，h  是一个从x到 y  的函数映射。

h该如何表示呢？

一种可能的表达方式为：h(x)=wx+b，因为只含有一个特征/输入变量，因此这样
的问题叫作单变量线性回归问题。

但是在后面的学习中，你会看到，一个回归变化问题，输出不止受一个变量的影响，比如说上面房屋交易的例子，最后预测的房屋的价格，也会受我是数量，或者所在区域的影响，或其他的特征。

这就是线性回归，其原理就是构造一个函数，在许多机器学习中被引用。