机器学习 回归

线性回归
回归的目的是预测数值型的目标值。直接的办法是依据输入写出一个目标值的计算公式。 这就是所谓的回归方程。回归有线性回归，也有非线性回归。
yi=xiT·w
求w的值使用平方误差

解得

即为“普通最小二乘法”。

用普通最小二乘法可能出现欠拟合的情况，故采用局部加权线性回归

常使用高斯和来赋予权重


如果参数过多，就无法使用线性回归，所以需要缩减。引入了岭回归

，岭回归就是在矩阵XTX上加一个λI从而使得矩阵非奇异，进而能对XTX + λI求逆。

Lasso
增加约束条件后

线性回归与岭回归相同

Lasso的约束条件比较复杂

故使用前向逐步回归

参考资料：《机器学习实战》