python逐步回归筛选变量_Python实现逐步回归（stepwise regression）

从0到1Python数据科学之旅(博主录制)

http://dwz.date/cqpw

逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。

依据上述思想，可利用逐步回归筛选并剔除引起多重共线性的变量，其具体步骤如下：先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，再逐步引入其余解释变量。经过逐步回归，使得最后保留在模型中的解释变量既是重要的，又没有严重多重共线性。

至今，我们已经有更好算法跳过共线性问题，没有必要在商业脚本里加入逐步回归代码。实际中变量相互关联，因此通过逐步回归思路删除变量解决共线性问题并非最佳思路。更好算法可参考课程《python风控建模实战lendingClub》：

本文作为学术探讨，介绍逐步回归原理和python代码。当基于最小二乘法训练线性回归模型而发生过拟合现象时，最小二乘法没有办法阻止学习过程。前向逐步回归的引入则可以控制学习过程中出现的过拟合，它是最小二乘法的一种改进或者说调整，其基本思想是由少到多地向模型中引入变量，每次增加一个，直到没有可以引入的变量为止。最后通过比较在预留样本上计算出的错误进行模型的选择。

实现代码如下：

# 导入要用到的各种包和函数

import numpy as np

import pandas as pd

from sklearn import datasets, linear_model

from math import sqrt

import matplotlib.pyplot as plt

# 读入要用到的红酒数据集

wine_data = pd.read_csv('wine.csv')

wine_data.head()

wine_data的表结构如下图所示：

# 查看红酒数据集的统计信息

wine_data.describe(

wine_data中部分属性的统计信息如下：

# 定义从输入数据集中取指定列作为训练集和测试集的函数(从取1列一直到取11列):

def xattrSelect(x, idxSet):

xOut = []

for row in x:

xOut.append([row[i] for i in idxSet])

return(xOut)

xList = [] # 构造用于存放属性集的列表

labels = [float(label) for label in wine_data.iloc[:,-1].tolist()] # 提取出wine_data中的标签集并放入列表中

names = wine_data.columns.tolist() # 提取出wine_data中所有属性的名称并放入列表中

for i in range(len(wine_data)):

xList.append(wine_data.iloc[i,0:-1]) # 列表xList中的每个元素对应着wine_data中除去标签列的每一行

# 将原始数据集划分成训练集(占2/3)和测试集(占1/3)：

indices = range(len(xList))

xListTest = [xList[i] for i in indices if i%3 == 0 ]

xListTrain = [xList[i] for i in indices if i%3 != 0 ]

labelsTest = [labels[i] for i in indices if i%3 == 0]

labelsTrain = [labels[i] for i in indices if i%3 != 0]

attributeList = [] # 构造用于存放属性索引的列表

index = range(len(xList[1])) # index用于下面代码中的外层for循环

indexSet = set(index) # 构造由names中的所有属性对应的索引构成的索引集合

oosError = [] # 构造用于存放下面代码中的内层for循环每次结束后最小的RMSE

for i in index:

attSet = set(attributeList)

attTrySet = indexSet - attSet # 构造由不在attributeList中的属性索引组成的集合

attTry = [ii for ii in attTrySet] # 构造由在attTrySet中的属性索引组成的列表

errorList = []

attTemp = []

for iTry in attTry:

attTemp = [] + attributeList

attTemp.append(iTry)

# 调用attrSelect函数从xListTrain和xListTest中选取指定的列构成暂时的训练集与测试集

xTrainTemp = xattrSelect(xListTrain, attTemp)

xTestTemp = xattrSelect(xListTest, attTemp)

# 将需要用到的训练集和测试集都转化成数组对象