ISL-3.1简单线性回归

引入

正式介绍简单线性回归之前需要啰嗦一下线性回归的重要性，并且抛出贯穿本章的例子以及例子引发的问题。

重要性

虽然和其他模型一比，线性回归算不上fancy，但是线性回归模型依然是一个应用广泛并且比较有效的模型。

例子

本章使用的例子还是第二章中使用的advertising的例子。我们需要提出一份营销计划（各渠道广告投入：TV, radio, newspaper）以提高下年的销售量（sale）。

问题

(1) 预算与销售量是否有关：
在闷头算和下手写计划之前，得先在数据中找到证明预算和销售量之间是有关联的证据。要不然老板凭啥信嘞。
(2) 广告预算和销量之间的关系有多强：
如果两者确实有关系，那么我们希望确定这个关系有多强，也就是说我们能否通过广告投放量精确的预测出销量。换句话说，我们的预测和瞎猜差距大吗？如果跟瞎猜差不多，那就是弱的相关关系，反之亦然。
(3) 哪种渠道可以促进销售：
我们有三种媒体渠道可以投放广告，那么是所有的渠道都可以促进销售吗，还是只有其中某个。回答这个问题我们需要在三者都投入的情况下分离出每个媒体的影响。

To answer this question, we must find a way to separate out the individual effects of each medium when we have spent money on all three media.

(4) 如何精确估计每个渠道对销量的影响：
在某个特定渠道上，每增加1$投入会怎加多少销量？我们对增加值的预测精度又是多少？
(5) 对未来销量的预测精度如何：
在给定各个渠道投入的情况下，预测销量是多少。该预测的精度如何？
(6) 这种关系究竟是不是线性的：
如果X,Y之间关系确实是线性的，那么线性回归就是给不错的选择。但是如果之间关系不是线性的，那么就需要考虑，要不要对X,Y进行处理。
(7) 各个渠道之间是否存在协同效应：
例如，TV和radio各投5万美金，可能比单独在TV投10万带来更高的销售量。

In marketing, this is known as a synergy effect, while in statistics it is called an interaction effect.

3.1 简单线性回归

简单线性回归(simple linear regression)：根据单一变量X预测响应变量Y。
$$Y\approx \beta 0+\beta 1X$$
把例子带进来：
$$sales\approx \beta 0+\beta 1\times TV$$
其中${\beta }_0$和${\beta }_1$都是未知的系数/参数，当我们使用训练数据训练后得出${\beta }_0$和${\beta }_1$，我们就可以在给定TV广告费的情况下计算出预测的销量了。
$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$
其中“^”表示未知参数的估计值，或者响应变量的预测值。

3.1.1 估计系数

${\beta }_0$和${\beta }_1$是未知系数，所以在正式计算预测值之前要先算出${\beta }_0$和${\beta }_1$。我们 希望找到的${\beta }_0$和${\beta }_1$应该是可以让这个模型的预测值和我们数据集中的实际值最接近的两个数字。其中测量接近程度有很多标准，此处使用RSS
$$RSS=e_1^2+e_2^2+\cdot \cdot \cdot +e_n^2$$
上式等价于：
R S S = ( y 1 − β ^ 0 − β ^ 1 x 1 ) 2 + ( y 2 − β ^ 0 − β ^ 1 x 2 ) 2 + . . . + ( y n − β ^ 0 − β