统计学习导论之读书笔记(二)线性回归
1 简单线性回归(仅有一个预测变量)
这类模型首先假定 X X X和 Y Y Y存在线性关系,然后估计待估参数。
1.1 估计系数
估计系数的原则: 最小化残差平方和(residual sum of squares, RSS),其中RSS的值由下列式子给出:
R S S = ∑ i = 1 n e i 2   \ RSS = \sum_{i=1}^{n}e_{i}^2\, RSS=i=1∑nei2
其中, e i e_{i} ei = y i y_{i} yi- y i ^ \hat{y_{i}} yi^代表第i个残差,从RSS的定义可以发现,RSS=n*(training MSE)。我们使用最小二乘法来估计 β 0 \beta_{0} β0和 β 1 \beta_{1} β1,其估计值为:
β 1 ^ = ∑ i = 1 n ( x i − x ‾ ) ( y i − y ‾ ) ∑ i = 1 n ( x i − x ‾ )   \ \hat{\beta_{1}} = \frac{\sum_{i=1}^{n}(x_{i}-\overline x)(y_{i}-\overline y)}{\sum_{i=1}^{n}(x_{i}-\overline x)}\, β1^=∑i=1n(xi−x)∑i=1n(xi−x)(yi−y)