理解简单线性回归的概念

作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai

---

简单的说，线性回归预测是基于某个变量 X （自变量）来预测变量 Y （因变量）的值，当然前提是 X 和 Y 之间存在线性关系。

这两个变量之间的线性关系可以用直线表示（称为回归线）。

现在为了确定两个变量之间是否存在线性关系，我们可以简单的将变量 Y 和变量 X 绘制成散点图，如果绘制的点是随机分布的，那么则可以推断变量是不相关的。

当绘制回归线时，一些点将落在回归线上面，其他点将位于其附近。这是因为我们的回归线是一个概率模型，我们的预测是一个近似结果。因此，变量 Y 的预测值和实际值会有一点偏差。

但是，当变量 X 和 Y 之间存在线性关系时，我们可以通过这些点绘制多条线。然后我们才能从这些线中挑选出一条最合适的线。

那么，如何挑选最合适的呢？我们使用“最小二乘”的概念。

最小二乘

Y=b0 + b1X+e

这是回归线的数学表达式：

Y - 表示因变量；
X - 表示独立变量；
b0 - 回归线的截距；
b1 - 回归线的斜率；
e - 误差，预测值和真实值之间的误差；

假设我们将数据 （x1， y1），（x2， y2），（x3， y3）…….（xn， yn）的 n 个点拟合到上面的回归线上。

其中，ei 是第 i 个观测值与我们回归线预测值之间的差值。

我们的目标是最小化这个误差值，以便让我们获得更好的回归线 。

我们这个误差 ei 可以是正数或负数，但是我们只对错误的大小感兴趣，而不是它的符号。因此，我们采用最小化平方误差和（SSE）。

在上图中，我们可以看到绿色的回归线是最好的。

我们如何最小化平方误差总和（SSE）呢？

请记住，b1 和 b0 对我们来说仍然是未知的。

在最小二乘法中，我们通过选择 b1 和 b0 的值来最小化平方误差总和（SSE），如下：

---

来源：Towards Data Science