复共线性
首先引入均方误差 M S E MSE MSE进行评价一个估计的优良的标准 M S E ( θ ~ ) = t r C o v ( θ ~ ) + ∥ E θ ~ − θ ∥ 2 MSE(\tilde{\theta })=trCov(\tilde{\theta })+\left \| E\tilde{\theta }-\theta \right \|^2 MSE(θ~)=trCov(θ~)+∥∥∥Eθ~−θ∥∥∥2即均方误差等于分量方差之和再加上一有偏估计。
下面讨论最小二乘估计,考虑线性模型 y = α 1 n + X β + e , E e = o , C o v ( e ) = σ 2 I y =\alpha 1_n+X\beta+e,\quad Ee=o,\quad Cov(e)=\sigma ^2I y=α1n+Xβ+e,Ee=o,Cov(e)=σ2I这里设计矩阵 X n × p X_{n\times p} Xn×p,已经中心化和标准化,并秩为 p p p,于是 α \alpha