【漫话机器学习系列】163.方差膨胀因子（Variance Inflation Factor, VIF）

IT古董

于 2025-03-26 10:19:35 发布

阅读量1.2k

点赞数 10

分类专栏：漫话机器学习系列专辑文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/IT_ORACLE/article/details/146500127

版权

270 篇文章

订阅专栏

方差膨胀因子（Variance Inflation Factor, VIF）是一种用于衡量回归分析中多重共线性（Multicollinearity）程度的指标。多重共线性指的是自变量（特征）之间存在较强的相关性，会导致模型参数估计的不稳定性，影响模型的解释能力和预测能力。

当回归模型中的一个或多个自变量彼此高度相关时，它们会导致回归系数的不稳定，使得估计的标准误增大，从而影响统计推断的准确性。VIF 用于量化这种膨胀效应，帮助我们识别和处理多重共线性问题。

要计算某个变量 XiX_iXi 的 VIF，需要执行以下步骤：

选择自变量 XiX_iXi，将其视为目标变量。
以其余的自变量作为解释变量，构建一个新的回归模型，即：
$X_i = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + ... + \beta_{i-1} X_{i-1} + \beta_{i+1} X_{i+1} + ... + \beta_n X_n + \epsilon$
计算该回归模型的 $R^2$ 值（决定系数）。
使用下面的公式计算 VIF 值：

其中：
- $VIF_i$ 表示自变量 $X_i$ 的方差膨胀因子。
- $R^2_i$ 是以 $X_i$ 作为因变量、其他变量作为自变量进行回归分析所得的决定系数。

VIF 值的大小用于判断变量间的共线性程度，通常有以下经验规则：

一般而言，如果 VIF 值较高，则意味着该变量可能与其他变量存在强相关性，从而导致系数估计不稳定。

多重共线性会对回归分析产生以下不利影响：

回归系数不稳定
- 由于变量之间高度相关，当数据发生微小变化时，回归系数的估计值可能会剧烈波动，导致模型的稳定性下降。
标准误增大
- 共线性会导致回归系数的标准误（Standard Error）增大，使得统计检验（t 统计量）的结果不可靠，导致某些重要变量可能被误判为不显著。
解释能力下降
- 多重共线性会影响模型的解释能力，使得无法明确区分各个变量对因变量的独立贡献，从而降低模型的可信度。
模型预测能力受损
- 在多重共线性严重的情况下，模型的预测能力可能会大幅降低，导致对新数据的预测效果变差。