文章目录
Lecture 2 多重共线性
2.1 多重共线性的含义
完全共线性
对于解释变量 X 1 , X 2 , … , X k X_1,X_2,\dots,X_k X1,X2,…,Xk存在不全为0的数 λ 1 , λ 2 , … , λ k \lambda_1,\lambda_2,\dots,\lambda_k λ1,λ2,…,λk使得
λ 1 X 1 i + ⋯ + λ k X k i = 0 i = 1 , 2 , … , n \lambda_1X_{1i}+\dots+\lambda_kX_{ki}=0\\ i=1,2,\dots,n λ1X1i+⋯+λkXki=0i=1,2,…,n
表明解释变量之间存在完全共线性。
多重共线性
对于解释变量 X 1 , X 2 , … , X k X_1,X_2,\dots,X_k X1,X2,…,Xk存在不全为0的数 λ 1 , λ 2 , … , λ k \lambda_1,\lambda_2,\dots,\lambda_k λ1,λ2,…,λk使得
λ 1 X 1 i + ⋯ + λ k X k i + μ i = 0 i = 1 , 2 , … , n μ i 是 随 机 变 量 \lambda_1X_{1i}+\dots+\lambda_kX_{ki}+\mu_i=0\\ i=1,2,\dots,n\\ \mu_i是随机变量 λ1X1i+⋯+λkXki+μi=0i=1,2,…,nμi是随机变量
表明解释变量之间是近似的线性关系。
2.2 解释变量关系与相关指标
-
指标1:
x ′ x = [ ∑ x 1 i 2 ∑ x 1 i x 2 i ∑ x 2 i x 1 i ∑ x 2 i 2 ] x'x=\left[ \begin{matrix} \sum x_{1i}^2&\sum x_{1i}x_{2i}\\\sum x_{2i}x_{1i}&\sum x_{2i}^2\end{matrix} \right] x′x=[∑x1i2∑x2ix1i∑x1ix2i∑x2i2] -
指标2: r a n k ( x ′ x ) rank(x'x) rank(x′x)
完全共线性,秩等于1;其他,秩等于2.
-
指标3:样本简单相关系数
r ( X 1 , X 2 ) = ∑ x 1 i x 2 i ∑ x 1 i 2 ∑ x 2 i 2 r(X_1,X_2)=\frac{\sum x_{1i} x_{2i}}{\sqrt{\sum x_{1i}^2}\sum x_{2i}^2} r(X1,X2)=∑x1i2∑x2i2∑x1ix2i
相关系数接近于1,多重共线性越强;相关系数接近于0,多重共线性弱。 -
指标4:矩阵行列式
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ |x'x|&=\left| …
行列式接近于0,多重共线性越强;行列式接近于1,多重共线性越弱。 -
指标5:逆矩阵
正交
完全共线性
强多重共线性
弱多重共线性
2.3 多重共线性产生的后果
β ^ = [ β 1 ^ β 2 ^ ] C o v ( β ^ ) = σ 2 ( x ′ x ) − 1 \hat{\pmb{\beta}}=\left[\begin{matrix}\hat{\beta_1} \\\hat{\beta_2} \end{matrix}\right]\\ Cov(\hat{\pmb{\beta}})=\sigma^2(x'x)^{-1} βββ^=[β1^β2^]Cov(βββ^)=σ2(x′x)−1
正交的后果
完全共线性的后果
- 参数的估计值不唯一
- 参数估计值的方差无穷大
多重共线性产的后果
-
参数的估计值可计算,但不稳定。当相关系数越接近于1,参数的估计式逐渐称为不定式,估计值越来越不稳定。
-
参数估计的方差增大(相关性越高,参数估计量的方差越大)(以下为离差形式)
V a r ( β 1 ^ ) = ∑ x 2 i 2 ( ∑ x 1 i 2 ) ( ∑ x 2 i 2 ) − ( ∑ x 1 i x 2 i 2 ) ⋅ σ 2 = σ 2 ( ∑ x 1 i 2 ) ( 1 − r 12 2 ) V a r ( β 2 ^ ) = ∑ x 1 i 2 ( ∑ x 1 i 2 ) ( ∑ x 2 i 2 ) − ( ∑ x 1 i x 2 i 2 ) ⋅ σ 2 = σ 2 ( ∑ x 2 i 2 ) ( 1 − r 12 2 ) Var({\hat{\beta_1}})=\frac{\sum x_{2i}^2}{(\sum x_{1i}^2)(\sum x_{2i}^2)-(\sum x_{1i}x_{2i}^2)}\sdot\sigma^2=\frac{\sigma^2}{(\sum x_{1i}^2)(1-r_{12}^2)}\\ Var({\hat{\beta_2}})=\frac{\sum x_{1i}^2}{(\sum x_{1i}^2)(\sum x_{2i}^2)-(\sum x_{1i}x_{2i}^2)}\sdot\sigma^2=\frac{\sigma^2}{(\sum x_{2i}^2)(1-r_{12}^2)} Var(β1^)=(∑x1i2)(∑x2i2)−(∑x1ix2i2)∑x2i2⋅σ2=(∑x1i2)(1−r122)σ2Var(β2^)=