python 回归_Python实现逐步回归（stepwise regression）

从0到1Python数据科学之旅(博主录制)
http://dwz.date/cqpw

逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。

依据上述思想，可利用逐步回归筛选并剔除引起多重共线性的变量，其具体步骤如下：先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，再逐步引入其余解释变量。经过逐步回归，使得最后保留在模型中的解释变量既是重要的，又没有严重多重共线性。

至今，我们已经有更好算法跳过共线性问题，没有必要在商业脚本里加入逐步回归代码。实际中变量相互关联，因此通过逐步回归思路删除变量解决共线性问题并非最佳思路。更好算法可参考课程《python风控建模实战lendingClub》：http://dwz.date/b626

本文作为学术探讨，介绍逐步回归原理和python代码。当基于最小二乘法训练线性回归模型而发生过拟合现象时，最小二乘法没有办法阻止学习过程。前向逐步回归的引入则可以控制学习过程中出现的过拟合，它是最小二乘法的一种改进或者说调整，其基本思想是由少到多地向模型中引入变量，每次增加一个，直到没有可以引入的变量为止。最后通过比较在预留样本上计算出的错误进行模型的选择。

实现代码如下：

1 2 3 4 5 6

# 导入要用到的各种包和函数 import numpy as np import pandas as pd from sklearn import datasets, linear_model from math import sqrt import matplotlib.pyplot as plt

1 2 3

# 读入要用到的红酒数据集 wine_data = pd.read_csv('wine.csv') wine_data.head()

wine_data的表结构如下图所示：

1 2	# 查看红酒数据集的统计信息 wine_data.describe(

wine_data中部分属性的统计信息如下：

'''从0到1Python数据科学之旅(博主录制)http://dwz.date/cqpw'''# 定义从输入数据集中取指定列作为训练集和测试集的函数(从取1列一直到取11列):def xattrSelect(x, idxSet):    xOut = []    for row in x:        xOut.append([row[i] for i in idxSet])    return(xOut)    xList = []  # 构造用于存放属性集的列表labels = [float(label) for label in wine_data.iloc[:,-1].tolist()]  # 提取出wine_data中的标签集并放入列表中names = wine_data.columns.tolist()          # 提取出wine_data中所有属性的名称并放入列表中for i in range(len(wine_data)):    xList.append(wine_data.iloc[i,0:-1])    # 列表xList中的每个元素对应着wine_data中除去标签列的每一行  # 将原始数据集划分成训练集(占2/3)和测试集(占1/3)：indices = range(len(xList))xListTest = [xList[i] for i in indices if i%3 == 0 ]xListTrain = [xList[i] for i in indices if i%3 != 0 ]labelsTest = [labels[i] for i in indices if i%3 == 0]labelsTrain = [labels[i] for i in indices if i%3 != 0]    attributeList = []