机器学习——回归模型

回归模型的功能一般是预测，分为线性回归，决策树(回归树)，支持向量机(SVR)

1.线性回归

线性回归一般使用的公式如下：

y’ = w[0]*x[0] +w[1]*x[1] +w[2]*x[2] +… +w[p]*x[p] +bias

x[0]到x[p] 表示单个数据点的特征，w 和 bias是模型需要学习的参数，y则是模型预测的结果。从高维来看，这里的彩色斜平面便是y所在的平面。

1.1最小二乘法（线性回归）

通过数据点找到参数w和b，使得对训练集的预测值y与真实的回归目标值y’之间的MSE(均方误差)最小。公式如下所示：

1.2 线性回归——线性向非线性的推广

线性回归模型简单，当数据可能呈现非线性关系时，它的测试结果可能就不尽人意了，所以有必要转向非线性模型。因变量和特征的非线性关系可以用如下的多项式函数来表示：

因为x的幂次越大