逻辑回归之银行贷款拖欠数据

本例来自于张良均等著《python数据分析与挖掘》
逻辑回归之银行贷款拖欠数据

逻辑回归属于概率型非线性回归，因变量取值一般为是和否（0或1）。线性回归、非线性回归皆是基于最小二乘法的，当自变量之间出现多重共线性时，则要用岭回归和主成分回归。
所谓的多重共线性是指一些自变量之间存在较强的线性关系。如研究高血压与年龄、吸烟年限、饮白酒年限等因素的关系，这些自变量通常是相关的，如果这种相关程度非常高，使用最小二乘法建立回归方程就有可能失效，引起下列不良后果

#-*- coding: utf-8 -*-
import pandas as pd
import numpy as np


#参数初始化
filename = '../data/bankloan.xls'
data = pd.read_excel(filename)
x = data.iloc[:,:8].as_matrix()       #将数据的0-8列生成数组形式，用于后期进行训练模型（数据仅有8列）
y = data.iloc[:,8].as_matrix()        #将数据的第8列生成数组形式，用于后期进行训练模型

from sklearn.linear_model import LogisticRegression as LR        #导入逻辑回归模型
from sklearn.linear_model import RandomizedLogisticRegression as RLR      #导入稳定性选择方法中的随机逻辑回归包，用于筛选特征
#除此外还有F检验、递归特征消除RFE等筛选特征的方法

rlr = RLR() #建立随机逻辑回归模型，筛选变量
rlr.fit(x, y) #训练模型
rlr.get_support() #获取特征筛选结果，也可以通过.scores_方法获取各个特征的分数
print(u'通过随机逻辑回归模型筛选特征结束。')
print(u'有效特征为：%s' % ','.join(np.array(data.iloc[:,:8].columns)[rlr.get_support()]))  #显示筛选结果的列标，即有效特征的列标
x = data[np.array(data.iloc[:,:8].columns)[rlr.get_support()]].as_matrix()#筛选好特征，生成数组形式，用于后期的逻辑回归模型训练

#以下两条代码为原书中代码，运行错误
#print(u'有效特征为：' % ','.join(data.columns[rlr.get_support()]))   #显示筛选结果的列标，即有效特征的列标
#x = data[data.columns[rlr.get_support()]].as_matrix() #筛选好特征，生成数组形式，用于后期的逻辑回归模型训练

lr = LR() #建立逻辑回归模型
lr.fit(x, y) #用筛选后的特征数据来训练模型
print(u'逻辑回归模型训练结束。')
print(u'模型的平均正确率为：%s' % lr.score(x, y)) #给出模型的平均正确率，本例为81.4%