机器学习实战——预测数值型数据：回归

一、线性回归——寻找最佳拟合直线

1、 线性回归的特点： 易于理解、计算简单； 但是对于非线性数据拟合不好；适用于数值型和标称型数据。

2、 为了寻找对数据最佳拟合的直线，一般常用的方法就是寻找使误差最小的w，我们采用平方误差：

如果对其求导，零导数为0，则得到：

这就是一般的线性回归估计出的w的最优解。 注意：此方程只在逆矩阵存在的时候才有效。

最佳拟合直线将数据视为直线进行建模，但是如果数据的预测值和特征之间不是线性关系，那么将不能取得很好的效果，会出现 欠拟合现象。

二、 局部加权线性回归

1、 线性回归模型容易出现欠拟合现象