方差膨胀因子(VIF)学习

参考博客：https://blog.csdn.net/jiabiao1602/article/details/39177125

1.导入数据,R自带研究共线性的数据集

该数据集有7个变量，其中GNP.deflator可以作为$y$

rm(list=ls())
data=longley
print(data)

2.对全变量建立回归模型

model=lm(GNP.deflator~.,data=data)
summary(model)

$结论：$从上面的结果可以看出，6个自变量中，只有两个变量的$p$值是显著的,此处看结果，要知道，多元线性回归的检验两种：一种是对回归方程的检验(F检验)，另一种是对各个回归系数的检验，因为在回归方程中，即使回归方程显著，也不能说明每个自变量对y的影响都是显著的，因此我们总想从回归方程中剔除哪些次要的，可有可无的变量，重新建立更简单的方程。所以需要我们对每个自变量进行显著性检验。其中对自变量进行检验使用的t检验,从上面的summary()可以看出，Residual standard error是sigma_hat的估计

3.t检验计算,以GNP为例

# 显然此处p=6,此处的model$fitted_value与predict(model)是相同的值
# 这个和glm模型的值是不一样的
# 
sig_2=sum((data$GNP.deflator-predict(model))*(data$GNP.deflator-predict(model))) 
sig_hat=sqrt(sig_2/9)
#我一直不知道R里面把拟合的sigma_hat怎么取出来，可以以下面的方式
#不要以为summary(model)只是返回结果，如果输入a=summary(model)
#那么a是一个对象，那么就可以以a$sigma来获得sigma的估计值了
# 其余的属性也是类似的，其中拟合优度为a$r.squared
y=data[,1];
design_matrix=data[,c(-1)];
design_matrix=cbind(interc=rep(1,16),design_matrix)#直接Ctrl+enter就可以运行
design_matrix=as.matrix(design_matrix)
y=as.matrix(y)
beta=solve(t(design_matrix)%*%design_matrix)%*%t(design_matrix)%*%y

t_test=beta/(sqrt(diag(solve(t(design_matrix)%*%design_matrix)))*sig_hat)
print(t_test)

此处可以看到，对于截距项的检验也是t检验算出来的(虽然一般不看这个)，
检验的公式为$t=$