需要评价回归模型最优的准则,来判断哪个模型性能最好。
- 残差平方和SSE越小,决定系数 R 2 R^2 R2越大越好:并非如此,增加自变量个数会达到上述效果,但是考虑到多重共线性、变量测量误差累计、参数数目增加等因素,未必会好
- 自由度调整复决定系数达到最大:自变量增多,复决定系数增大,但是残差自由度减小(残差自由度等于样本个数减掉变量个数)。自由度减小意味着可靠性低,即区间预测的幅度变大,无实际应用意义。采用调整复决定系数: a d j R 2 = 1 − n − 1 n − p − 1 ( 1 − R 2 ) adjR^2=1-\frac{n-1}{n-p-1}(1-R^2) adjR2=1−n−p−1n−1(1−R2)
- 赤池信息量(Akaike Information Criterion)达到最小:基于最大似然估计原理的模型选择准则 A I C = − 2 l n L ( θ ^ L , x ) + 2 p = > A I C = n l n ( S S E ) + 2 p AIC=-2lnL(\widehat \theta_L,x)+2p=>AIC=nln(SSE)+2p AIC=−2lnL(θ L,x)+2p=>AIC=nln(SSE)+2p其中 l n L ( θ ^ L , x ) lnL(\widehat\theta_L,x) lnL(θ L,x)为模型似然函数,维数为p,n为样本个数。 在回归建模过程中,对每一个模型计算AIC,其中该值最小的模型,就是最优回归模型。
- 统计量 C p C_p Cp达到最小: C − P = S S E P σ ^ 2 − n + 2 p = ( n − m − 1 ) S S E P S S E m − n + 2 p C-P=\frac{SSE_P}{\widehat\sigma^2}-n+2p=(n-m-1)\frac{SSE_P}{SSE_m}-n+2p C−P=σ 2SSEP−n+2p=(n−m−1)SSEmSSEP−n+2p
自变量选择的方法
前进法:
- 思路:变量由少到多,每次增加一个,直至没有可引入的变量
- 具体做法:
1. 对所有m个自变量,分别对因变量y进行建模,建立m个一元线性回归方程
2. 对这m个一元线性回归方程的m个回归系数进行F检验,计算F统计量值,找到最大的一个
F
j
1
F_j^1
Fj1
3. 将
F
j
1
F_j^1
Fj1和预先设定的检验水平
α
\alpha
α对应的
F
F
F值比较,若
F
j
1
⩾
F
α
(
1
,
n
−
2
)
F_j^1\geqslant F_{\alpha}(1,n-2)
Fj1⩾Fα(1,n−2),将自变量
x
j
x_j
xj引入回归方程
4. 对
x
j
x_j
xj与剩余的
m
−
1
m-1
m−1个方程这种非
x
j
x_j
xj的回归系数进行
F
F
F检验,挑选出最大的
F
F
F值
F
k
2
F_k^2
Fk2,和
α
\alpha
α对应的临界值比较,若
F
k
2
⩾
F
α
(
1
,
n
−
3
)
F_k^2 \geqslant F_\alpha(1,n-3)
Fk2⩾Fα(1,n−3),将
x
k
x_k
xk引入回归方程
5. 重复上述步骤,直到没有符合引入条件的变量为止,得到最终的回归方程
后退法:
- 思路:变量由多到少,每次减少一个,直至没有可减少的变量
- 具体做法:
1.对所有m个自变量,对因变量y进行建模,建立一个m元线性回归方程
2.对这个m元线性回归方程的m个回归系数进行 F F F检验,计算 F F F统计量值,找到最小的一个 F j 1 F_j^1 Fj1
3.将 F j 1 F_j^1 Fj1和预先设定的检验水平 α \alpha α对应的 F F F值比较,若 F j 1 ⩽ F α ( 1 , n − m − 1 ) F_j^1\leqslant F_\alpha(1,n-m-1) Fj1⩽Fα(1,n−m−1),将自变量 x j x_j xj剔除回归方程
4.将剩余 m − 1 m-1 m−1个自变量对因变量y进行建模,建立一个 m − 1 m-1 m−1元线性回归方程,对新的回归方程中的 m − 1 m-1 m−1个回归系数进行 F F F检验,选出最小的 F F F值和 F k 2 F_k^2 Fk2,和 α \alpha α对应的临界值比较,若 F k 2 ⩽ F α ( 1 , n − m ) F_k^2\leqslant F_\alpha(1,n-m) Fk2⩽Fα(1,n−m),将 x k x_k xk剔出回归方程
5.重复上述步骤,直到没有符合剔除条件的变量为止,得到最终的回归方程
两者存在的问题:
前进法:不能反映引进新的自变量后的变化情况。环境不同,自变量的显著性也不同,而前进法的核心只是考量了某个环境下的自变量的显著性,没考虑不同环境下的显著性。 一旦选入,不会剔除,同样对环境变化缺乏考量
后退法:计算量大,自变量个数从多到少,开始的计算量会较大,并且可能做了很多无用功。与前进法类似,未考虑环境变化带来的影响,缺乏对变化的考量,被剔除的变量后续不会考虑再次引入,及时在某些条件下,被剔除掉的变量显著性满足引入要求,即使优于当前方程中的某些变量
如果所有自变量都是独立的,理论上前进法和后退法得到的回归方程是一致的
逐步回归法
- 思路:有进有出。每当当前回归方程中的变量发生变化,都要对方程中的所有变量进行
F
F
F检验。
-https://www.doc88.com/p-1174528531589.html