7.变量筛选方法—子集选择法

子集选择法：分为最优子集法和逐步筛选法

最优子集法：

1.如果两个模型预测变量数量相同，残差平方和(RSS)越小，模型越优；

2.如果两个模型预测变量数量不同，不能直接比较RSS，因为增加变量，即使该变量不相干，也会导致RSS下降，因此可以选择交叉验证法(CV法)、马洛斯CP值、AIC、BIC、调整后的可决系数进行判断。

逐步筛选法：

1.向前逐步选择：假设有k个预测变量，首先向一个空的模型中加入一个变量，共进行k次，留下RSS最小的变量，再向模型中加入一个变量，进行k-1次，保留RSS最小的变量...

2.向后逐步选择：与向前逐步选择相反，模型有全部的预测变量，即k个预测变量，再逐步移除预测变量，比较RSS

3.混合选择方法：剔除模型中t值小于临界值或者p值大于临界值的变量

马洛斯Cp值：

AIC：

BIC： 

调整后的可决系数：