模型融合---Stacking调参总结

最新推荐文章于 2021-11-27 16:06:48 发布

dili8870

最新推荐文章于 2021-11-27 16:06:48 发布

阅读量1.9k

点赞数 1

文章标签：人工智能数据结构与算法

原文链接：http://www.cnblogs.com/nxf-rabbit75/p/10596180.html

版权

本文介绍了使用GBDT和Xgboost进行回归的Stacking调参过程，通过五折交叉验证和平均预测提升模型性能，r2值达到0.79753。在分类任务中，通过多个基模型的交叉训练预测，利用逻辑回归进行最后的集成，各模型及Stacking的AUC得分分别为0.8415至0.8584。

摘要由CSDN通过智能技术生成

1. 回归

训练了两个回归器，GBDT和Xgboost，用这两个回归器做stacking

使用之前已经调好参的训练器

gbdt_nxf = GradientBoostingRegressor(learning_rate=0.06,n_estimators=250,
                                  min_samples_split=700,min_samples_leaf=70,max_depth=6,
                                  max_features='sqrt',subsample=0.8,random_state=75)
xgb_nxf = XGBRegressor(learning_rate=0.06,max_depth=6,n_estimators=200,random_state=75)

事先建好stacking要用到的矩阵

from sklearn.model_selection import KFold,StratifiedKFold
kf = StratifiedKFold(n_splits=5,random_state=75,shuffle=True)

from sklearn.metrics import r2_score

train_proba = np.zeros((len(gbdt_train_data),2))
train_proba = pd.DataFrame(train_proba)
train_proba.columns = ['gbdt_nxf','xgb_nxf']

test_proba = np.zeros((len(gbdt_test_data),2))
test_proba = pd.DataFrame(test_proba)
test_proba.columns = ['gbdt_nxf','xgb_nxf']

reg_names = ['gbdt_nxf','xgb_nxf']

for i,reg in enumerate([gbdt_nxf,xgb_nxf]):
    pred_list = []
    col = reg_names[i]
    for train_index,val_index in kf.split(gbdt_train_data,gbdt_train_label):
        x_train = gbdt_train_data.loc[train_index,:].values
        y_train = gbdt_train_label[train_index]
        x_val = gbdt_train_data.loc[val_index,:].values
        y_val = gbdt_train_label[val_index]
        
        reg.fit(x_t