python计算方差膨胀因子_可决系数R^2和方差膨胀因子VIF

然而很多时候，被筛选的特征在模型上线的预测效果并不理想，究其原因可能是由于特征筛选的偏差。

但还有一个显著的因素，就是选取特征之间之间可能存在高度的多重共线性，导致模型对测试集预测能力不佳。

为了在筛选特征之初就避免陷入这样的误区。介绍一种VIF(方差膨胀检验)方法，来对特征之间的线性相关关系进行检验，从而选取到独立性更好的特征，增强模型的解释能力。

1.可决系数R^2

1.1什么是可决系数

可决系数，亦称测定系数、决定系数、可决指数。

与复相关系数类似的，表示一个随机变量与多个随机变量关系的数字特征，用来反映回归模式说明因变量变化可靠程度的一个统计指标，一般用符号“R”表示，

可定 义为已被模式中全部自变量说明的自变量的变差对自变量总变差的比值。

1.2总变异的分割

一个特定数值对于其平均值的偏离，称为离差，而一变量的各数值对于其平均值的偏离，称为变异。通常用离差平方和来描述变异程度。离差平方和又简称平方和(Sum of square)。在研究单变量的离中趋势描述时，我们已经接触了离差平方和的概念，样本标准差的定义公式中就直接使用了上述概念。平方和被相应的自由度去除，得到平均平方，简称为均方(Mean square)。样本标准差就是被自由度(n-1)所平均的x对于离差均方的算术平方根。下面我们将应用平方的概念去开发测度一个回归方程拟合协变关系效果的量数。

先结合图1分析一下在因变量y倚自变量x回归前提下y值的离差。

y值对其平均数的离差可以看作是由两部分合成的，一是y的回归拟合值对平均数的离差()，另一是y值对于拟合值的离差()。

前者呈线性变化，在时，=0，x取值越偏离，这一离差就越大，存在着这样的函数关系：

这一离差完全是由y倚x的回归关系决定的，因而称为已解释离差(Explained deviation)。

后者呈随机变化，与y倚x的回归关系无关，因而称为未解释离差(Unexplained deviation)。

总离差与已解释离差、未解释离差的关系写成公式是：