线性回归模型是一种用于建模自变量与因变量之间线性关系的统计模型。在线性回归中,自变量进入模型的方式通常有两种:逐步回归和全部变量回归。
-
逐步回归(Stepwise Regression):
- 前向逐步回归(Forward Stepwise Regression): 从零开始,逐步地添加自变量到模型中。开始时,选择与因变量最相关的自变量,然后逐步添加其他自变量,直到不再有显著的改善。
- 后向逐步回归(Backward Stepwise Regression): 从包含所有自变量的模型开始,逐步地去除对模型贡献最小的自变量,直到去除任何一个自变量都会导致模型性能下降。
-
全部变量回归(All-Subset Regression):
- 考虑所有可能的自变量组合,通过比较它们的性能来选择最佳的模型。这种方法的计算成本较高,特别是在自变量较多的情况下,因为需要评估所有可能的组合。
选择适当的自变量进入方式通常依赖于数据和建模目标。逐步回归可以在较短的时间内找到一个相对较好的模型,而全部变量回归可以提供更全面的模型选择。然而,需要注意的是,逐步回归容易受到过拟合的影响,因此在选择自变量时需要谨慎。
线性回归模型的检验主要涉及对模型拟合的质量、残差的性质以及模型假设的验证。以下是一些常见的线性回归模型检验及其相应的检验规则:
-
残差分析:
- 检验规则: 残差应该随机分布在零附近,没有明显的模式。可以使用残差图、正态概率图(Q-Q图)等进行可视化检查。
-
正态性检验:
- 检验规则: 线性回归模型假设残差是正态分布的。可以使用正态概率图、残差的直方图等进行检验。
-
异方差性检验:
- 检验规则: 异方差性可能导致对模型的推断产生问题。可以使用残差图或异方差性检验统计量来检验异方差性。
-
共线性检验:
- 检验规则: 共线性可能导致模型参数估计的不准确性。可以使用方差膨胀因子(VIF)等指标来检验共线性。
-
残差的独立性检验:
- 检验规则: 残差应该是相互独立的。可以使用残差自相关函数(ACF)图或Ljung-Box检验来检验残差的独立性。
-
模型参数的显著性检验:
- 检验规则: 使用t检验检验模型中各个自变量的系数是否显著不等于零,进而判断相应的自变量对因变量的影响是否显著。
-
整体拟合度检验:
- 检验规则: 使用F检验检验模型整体的显著性,即模型是否显著解释了因变量的变异。
-
多重共线性检验:
- 检验规则: 使用VIF等指标检验模型中是否存在多重共线性。
-
模型诊断:
- 检验规则: 对模型进行全面的诊断,包括检查杠杆点、影响点,以及通过Cook’s 距离等检查离群值。
这些检验规则是在统计学上通常用于验证线性回归模型的假设和质量的方法。需要注意的是,这些规则并不是一成不变的,有时候需要根据具体的问题和数据特点做出适当的调整。模型检验的目的是确保模型对数据的拟合是合理的,并且所做的推断是可靠的。