统计|理解多元回归变量选择的向后剔除一般步骤及缺点

本博文源于《商务统计》，旨在讲述多元回归下的向后剔除法的一般步骤及缺点。

一般步骤

1. 先对因变量拟合包括所有k个自变量的回归模型，然后考虑所有去掉一个自变量的模型(现在模型中每一个都有的k-1个自变量),使模型的SSE(残差平方和)减小最少的自变量被挑选出来并从模型中剔除。
2. 考虑所有再去掉一个自变量的模型(现在模型中在每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除.
3. 如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止。

向后剔除的缺点

一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入。亦或者有些变量一旦剔除再也不能放进回归方程里。

博主上一篇

统计|多元回归下变量选择的向前选择法一般步骤与缺点