一、概述
(F检验)显著性检验:检测自变量是否真正影响到因变量的波动。
(t检验)回归系数检验:单个自变量在模型中是否有效。
二、回归模型检验
检验回归模型的好坏常用的是F检验和t检验。F检验验证的是偏回归系数是否不全为0(或全为0),t检验验证的是单个自变量是否对因变量的影响是显著的(或不显著)。
F检验和t检验步骤:
提出问题的原假设和备择假设
在原假设的条件下,构造统计量
根据样本信息,计算统计量的值
对比统计量的值和理论F分布的值,计算统计量的值超过理论值,则拒绝原假设,否则接受原假设
待检验数据集先构造成向量的模式:
可表示成如下形式:
其中β 为n×1的一维向量。
1) 假设
F检验假设:
t检验假设:
H0为原假设,H1为备择假设。F检验拒绝原假设的条件为计算的F检验的值大于查到的理论F值。t检验可以通过P值和拟合优度判断变量的显著性及模型组合的优劣。
2)计算过程
F检验计算过程:
上图为假设其中一个点所在的平面,由以上点计算出ESS(误差平方和),RSS(回归离差平方和),TSS(总的离差平方和)。
计算公式为:
其中ESS和RSS都会随着模型的变化而发生变化(估计值变动)。而TSS衡量的是因变量和均值之间的离差平方和,不会随着模型的变化而变化。
由以上公式构造F统计量:
(n为数据集向量的行数,p为列数(自变量的个数),n为离差平方和RSS的自由度,n-p-1为误差平方和ESS的自由度),模型拟合越好,ESS越小,RSS越大,F值越大。
3)python中计算F值得方法:可以直接通过model.fvalue得到f值或者通过计算得到。
from sklearn import model_selection
import statsmodels.api as sm
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing
Profit = pd.read_excel(r'Predict to Profit.xlsx')
Profit.head()
dummies = pd.get_dummies(Profit.State,prefix = 'State')
Profit_New = pd.concat([Profit,dummies],axis=1)
Profit_New.drop(labels = ['State','State_New York'],axis =1,inplace = True)
train , test = model_selection.train_test_split(Profit_New,test_size = 0.2,random_state=1234)
model = sm.formula.ols('Profit~RD_Spend+Administration+Marketing_Spend+State_California+State_Florida',data = train).fit()
ybar = train.Profit.mean()
p = model.df_model #自变量个数
n= train.shape[0] #行数,观测个数
RSS = np.sum((model.fittedvalues - ybar)**2) #计算离差平方和 估计值model.fittedvalues
ESS = np.sum(model.resid**2) #计算误差平方和,误差表示model.resid
F = RSS/p/(ESS/(n-p-1))
print( F, model.fvalue)
结果如下:
求理论F值,使用Scipy库子模块stats中f.ppf
from scipy.stats import f
F_Theroy = f.ppf(q=0.95,dfn = p,dfd = n-p-1)
F_Theroy