斯坦福大学统计学习笔记（二）

3.1 简单线性回归

线性回归很简单，但是也很有用

3.1.1 线性回归

简单粗暴，直接上模型：
Y=β0+β1X+ϵ
这个模型里面只有一种预测因素，即x，这是一个直线方程。β0、β1是一个常数，未知系数；ϵ表示噪声，偏离直线的情况。这是对“世界上所有数据“的假想模型，即我们假设“世界上所有数据“是从这个模型中产生的。虽然我们也不清楚这个假设对不对，但是就是这样假设了，看看结果好不好再决定对不对。
但是我们得不到“世界上所有的数据“，我们只有“训练数据集“，所以我们可以得到的预测模型是这样的：
Y^ =β^ 0+β^1X+ϵ
“hat“表示这个变量是estimated的，不是real的，也就是说我们对上面的“假设“在进行了一次假设。效果好不好得看结果才知道，这里就这么粗暴地假设了。

3.1.2 如何寻找最佳参数

模型中未知的是β^ ，将通过损失函数来得道。直接上损失函数，来评估这个estimated的模型的好坏，从而得到好的β^。

定义“残差“ (residual)：ei=yi−yi^
定义“残差平方和“ (Residual Sum of Squares)：RSS=e21+e22+…+e2n
我们的目的，让“残差平方和“最小。于是通过“求导等于0“来求解极小值点。因为只有β^ ，所以“求导等于0“可以把相应的β^求解出来。

我们不在乎数据点相对于线性模型是高了还是低了，只在乎残差平方和越小越好，即点到直线的距离越小越好。这便是“最小二乘法”“最小二乘拟合”。这样得到的结果有且仅有一条是拟合的最好的。
我们可以得到截距和斜率表达式

3.1.3 参数“好坏“评估

标准误差：
β0和β1的 Standard Error 定义如下：