本文介绍了线性回归中多重共线性的问题及其影响，包括自变量之间的相关性可能导致的模型不稳定。检测方法如相关系数和方差膨胀因子（VIF）被详细讨论，当VIF大于10时，可能存在严重多重共线性。此外，文章还提及了处理多重共线性的方法，如变量筛选、正则化等。最后，文章简要提及了线性回归中强影响点的分析，包括学生化残差、Cook's D统计量等指标的重要性。
▌多重共线性检验
1. 多重共线性产生的问题
当回归模型中两个或两个以上的自变量彼此相关时，则称回归模型中存在多重共线性，也就是说共线性的自变量提供了重复的信息。
那么这种多重共线性会有什么不好的影响吗？答案是会的，而且影响非常不好。总结一下就是：会造成回归系数，截距系数的估计非常不稳定，即整个模型是不稳定。这种不稳定的具体表现是：很可能回归系数原来正，但因为共线性而变为负。这对于一些自变量的可解释性来讲可能是致命的，因为得到错误系数无法解释正常发生的现象。
那究竟为什么多重共线性会导致回归系数，以及模型不稳定呢？举个简单的例子说明下：比如我有一个二元线性回归模型，自变量是x1和x2，如果我们画图大家可以很自然的想象出一个三维(三轴)坐标系。假如x1和x2之间没有多重共线性，那么这个模型就是一个确定了的超平面。但假如x1和x2有很强的多重共线性，那么这个模型就近似是一个直线向量，而以这个直线所拟合出来的平面是无数个的(穿过一条直线的平面是不固定的)。这也就造成了回归系数的不确定性，以及模型无法稳定。
2. 多重共线性的检测
多重共线性有很多检测方法，最简单直接的就是计算各自变量之间的相关系数，并进行显著性检验。具体的，如果出现以下情况，可能存在多重共线性：
(1)模型中各对自变量之间显著性相关。
(2)当模型线性关系(F检验)显著时，几乎所有回归系数的t检验不显著。
(3)回归系数的正负号与预期的相反。
(4)方差膨胀因子(VIF)检测，一般认为VIF大于10，则存在严重的多重共线性。
这里主要说明一下(1)和(4)，
最低0.47元/天 解锁文章
扫一扫
3039
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
