机器学习——回归方法（1）

一、回归预测简介

现在我们知道的回归一词最早是由达尔文的表兄弟Francis Galton发明的。Galton在根据上一年的豌豆种子的尺寸预测下一代豌豆种子的尺寸时首次使用了回归预测。他在大量的对象上应用了回归分析，包括人的身高。他注意到，如果双亲的高度比平均高度高的话，则他们的子女也倾向于比平均身高高，但尚不及双亲。孩子的身高向着平均高度回退（回归）。Galton在多项研究上都注意到这个现象，所以尽管这个单词跟数值预测没有任何关系，但是仍然把这种方法称为回归。

二、回归方法的适用条件：

1） 收集的数据是数值型数据，或可转为数值型数据

2） 建立数学模型，即一个函数，这个函数里含有未知的参数，通过对收集到的数据进行学习，可以估计出参数。然后利用这个模型去预测/分类新的数值型数据。

3）在对数值型数据的处理后，具体的适用条件见后面具体的回归算法

三、线性回归模型选择

线性回归假设特征和结果满足线性关系，

四、数学理论部分

其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以有前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。

       收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，我们可以用