Stanford Online-统计学习-ISLR-Ch3-Linear Regression

1. 线性模型

简单粗暴，直接上模型：

$$Y = \beta_0 + \beta_1X + \epsilon$$
这是对“世界上所有数据“的假想模型，即我们 假设“世界上所有数据“是从这个模型中产生的。虽然我们也不清楚这个假设对不对，但是就是这样假设了，看看结果好不好再决定对不对。

但是我们得不到“世界上所有的数据“，我们只有“训练数据集“，所以我们可以得到的模型是这样的：

$$\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1X + \epsilon$$
“hat“表示这个变量是estimated的，不是real的，也就是说我们对上面的“假设“在进行了一次假设。效果好不好得看结果才知道，这里就这么粗暴地假设了。

2. 损失函数

模型中未知的是$\hat{\beta}$，将通过损失函数来得道。直接上损失函数，来评估这个estimated的模型的好坏，从而得到好的$\hat{\beta}$。

定义“残差“ (residual)：$e_i = y_i - \hat{y_i}$

定义“残差和“ (Residual Sum of Squares)：$RSS = e^2_1 + e^2_2 + ... + e^2_n$

我们的目的，让“残差和“最小。于是通过“求导等于0“来求解极小值点。因为只有$\hat{\beta}$，所以“求导等于0“可以把相应的$\hat{\beta}$求解出来。

3. 参数“好坏“评估

下面用“统计学“中的方法来评估一下这个模型，看看参数对不对，好不好。

3.1 Standard Error

$\beta_0$和$\beta_1$的 Standard Error 定义如下：

SE(β̂ 1)2=V