文章目录
0.问题描述
这份数据集是金融数据(非原始数据,已经处理过了),我们要做的是预测贷款用户是否会逾期。表格中 “status” 是结果标签:0表示未逾期,1表示逾期。
构建随机森林、GBDT、XGBoost和LightGBM这4个模型,评分方式任意。
1.评价指标
评价指标暂时选定为准确率值
通常金融的是否预期问题为不平衡数据,因此选区AUC为评价指标比较有参考意义
2.模型构建
模型构建的流程如下:
2.1数据导入
# 导入数据处理和建模需要使用的python包
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.model_selection import train_test_split
# 4个模型包
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
import xgboost as xgb
import lightgbm as lgb
# 读取数据
data = pd.read_csv("../input/datawhale2246/data_all.csv")
#确认下目标变量得分布情况
data.status.value_counts()
项目 | Value |
---|---|
0 | 3561 |
1 | 1193 |
跟之前猜测差不多,并没有特别均衡,后续再优化,建议可以采用auc-roc指标替换
2.2数据切分
# 切分数据集,引入随机数,以便模型结果复线
x = data.drop(['status'], axis=1)
y = data['status']
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=2018)
2.3模型构建
不同于任务一,需要尝试新的4个数模型。
2.3.1模型对象化
# 4个模型对象化,引入随机数,以便模型结果复线
xgb_clf = xgb.XGBClassifier(random_state=2018)
lgb_clf = lgb.LGBMClassifier(random_state=2018)
gbdt_clf = GradientBoostingClassifier(random_state=2018)
rf_clf = RandomForestClassifier(random_state=2018)
2.3.2 构建模型字典,以便后续引用
#建立一个模型的字典,以便后续批量模型
model_dict = {"rf":rf_clf,"gbdt":gbdt_clf,"xgb":xgb_clf,"lgb":lgb_clf }
**
2.4模型训练及评价
2.4.1封装模型训练及预测评价
#封装函数,始得可以一次性运行所有模型,避免代码冗余
def runModel():
for i in model_dict.keys():
print(i,"-training")
clf = model_dict[i].fit(x_train, y_train)
score = clf.score(x_test,y_test)
print(i,"-Score:,",score)
2.4.1模型运行及评价结果
runModel()
最后结果如下:
rf -training
rf -Score:, 0.7708479327259986
xgb -training
xgb -Score:, 0.7855641205325858
gbdt -training
gbdt -Score:, 0.7806587245970568
lgb -training
lgb -Score:, 0.7736510161177295
在没有任何调参以及特征工程的情况下,xgb预测准确率最高。