[Python] 逻辑回归分析

数据示例

以某银行贷款拖欠率数据进行逻辑回归建模，数据示例如下：

逻辑回归分析步骤

1. 特征筛选：本例采用稳定性选择方法中的随机逻辑回归
2. 建立模型：利用筛选后的特征建立逻辑回归模型
3. 输出平均正确率

实现代码

#-*- coding: utf-8 -*-
#逻辑回归 自动建模
import pandas as pd

#参数初始化
filename = '../data/bankloan.xls'
data = pd.read_excel(filename)
x = data.iloc[:,:8]  #选取data前8列数据，[0：8]不包括8
y = data.iloc[:,8]   #选取data,9列数据

from sklearn.linear_model import LogisticRegression as LR
from sklearn.linear_model import RandomizedLogisticRegression as RLR 

rlr = RLR() #建立随机逻辑回归模型，筛选变量，默认阈值为0.25，
rlr.fit(x, y) #训练模型
rlr.get_support() #获取特征筛选结果，可以通过 .scores_ 方法获取各个特征的分数
print(u'通过随机逻辑回归模型筛选特征结束。')
print(u'有效特征为：%s' % ','.join(x.columns[rlr.get_support()]))
x = x[x.columns[rlr.get_support()]] #筛选特征

lr = LR() #建立逻辑回归模型
lr.fit(x, y) #用筛选后的特征数据来训练模型
print(u'逻辑回归模型训练结束。')
print(u'模型的平均正确率为：%s' % lr.score(x, y)) #给出模型的平均正确率，本例为81.4%