【ML】线性回归适用场景-原理-优缺点汇总

1.什么是线性回归？

回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是表示从输入变量到输出变量之间映射的函数。线性回归几乎是最简单的模型了，它假设因变量和自变量之间是线性关系的，一条直线简单明了。

2.适用场景

自变量和因变量之间是线性关系

适用于low dimension， 而且每一维之间都没有共线性。

3.原理

线性回归模型

f(x)=WX + b

目的：找出W，使得f(x1)尽可能的接近y1

损失函数

想要评价一个模型的优良，就需要一个度量标准。对于回归问题，最常用的度量标准就是均方差（MSE，Mean Squared Error），均方差是指预测值和实际值之间的平均方差。平均方差越小，说明测试值和实际值之间的差距越小，即模型性能更优。

均方误差为损失函数。

均方误差最小化目标函数的方法称为最小二乘法。原因：有十分好的几何意义，对应了常用的欧式距离。在线性回归中，就是找到一个直线，使得所有样本到直线的欧式距离最小。

推导：

包含了使用最小二乘法进行求解，还有最小二乘法和最大似然估计的联系：

线性回归的优缺点

优点

• 直接。

• 快速。

• 可解释性好。

缺点

• 需要严格的假设。

• 需处理异常值，对异常值很敏感，对输入数据差

参考链接：

1.多种回归方式讲解：https://www.jianshu.com/p/b628c90e1c1c