本文探讨了复共线性问题及其在最小二乘估计中的影响，指出当设计矩阵X存在多重共线性时，最小二乘估计的性能下降。为解决这一问题，介绍了岭估计的概念，它是通过在最小二乘估计中添加调整项来降低方差，以提高估计的稳定性。定理表明存在适当的k值，使得岭估计在均方误差意义上优于最小二乘估计。
复共线性
首先引入均方误差 M S E MSE MSE进行评价一个估计的优良的标准 M S E ( θ ~ ) = t r C o v ( θ ~ ) + ∥ E θ ~ − θ ∥ 2 MSE(\tilde{\theta })=trCov(\tilde{\theta })+\left \| E\tilde{\theta }-\theta \right \|^2 MSE(θ~)=trCov(θ~)+∥∥∥Eθ~−θ∥∥∥2即均方误差等于分量方差之和再加上一有偏估计。
下面讨论最小二乘估计，考虑线性模型 y = α 1 n + X β + e , E e = o , C o v ( e ) = σ 2 I y =\alpha 1_n+X\beta+e,\quad Ee=o,\quad Cov(e)=\sigma ^2I y=α1n+Xβ+e,Ee=o,Cov(e)=σ2I这里设计矩阵 X n × p X_{n\times p} Xn×p，已经中心化和标准化，并秩为 p p p,于是 α \alpha
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
