5.ESL笔记：线性模型与高斯-马尔科夫定理

统计学中有一个非常著名的结果：在所有线性无偏估计中，模型参数$\beta$的最小二乘估计拥有最小的方差。不过事实上，使用参数的无偏估计并不一定是最好的。有时候我们可能需要采用有偏估计，比如脊回归。

我们考虑参数$\beta$的一个线性组合$\theta = a^T\beta$。举个例子，$f(x_0)=x_0^T\beta$就属于这种形式。则$a^T\beta$的最小二乘估计为：

$$\hat{\theta}=a^T\hat{\beta}=a^T(X^TX)^{-1}X^TY$$

如果数据项$X$是固定的，那么这个公式就可以写成关于$\mathbb{y}$的线性函数 cT