多重共线性 (Multicollinearity)

定义 

多重共线性是指线性回归模型中，两个或多个预测变量（自变量）之间存在高度相关性的现象。当自变量彼此之间高度相关时，会导致回归模型估计出现问题。  

类型

1. 完全多重共线性：一个自变量可以完全由其他自变量线性表示（相关系数为1）  
2. 高度多重共线性：自变量之间存在强相关性（相关系数接近1但不等于1）

检测方法

1. 相关系数矩阵：检查自变量之间的相关系数（通常>0.8表示可能存在多重共线性）  
2. 方差膨胀因子(VIF)：VIF>10通常表示严重的多重共线性 ◦ VIF = 1/(1-R²)，其中R²是该变量对其他所有自变量回归的判定系数    
3. 容忍度(Tolerance)：1/VIF，小于0.1可能存在问题  
4. 特征值分析：条件指数>30可能表示共线性问题   

影响

1. 回归系数估计不稳定，小的数据变化可能导致系数大幅变化  
2. 系数标准差增大，t统计量减小，导致变量显著性检验不可靠  
3. 难以区分单个变量对因变量的独立影响  
4. 回归系数符号可能与理论预期相反

 解决方法

1. 删除变量：移除高度相关的变量之一  
2. 主成分分析(PCA)：将相关变量转换为不相关的主成分
3. 岭回归(Ridge Regression)：引入偏差以减少方差  
4. 增大样本量：有时可以缓解共线性问题  
5. 变量组合：将相关变量组合成单一变量  
6. 偏最小二乘回归(PLS)：结合主成分分析和多元回归   

注意事项

1. 多重共线性不影响模型的预测能力，只影响系数的解释
2. 并非所有多重共线性都需要处理，取决于研究目的

3. 某些领域(如经济学)中，变量间天然存在相关性，完全消除共线性可能不现实