GBDT+LR simple例子

 

卧槽，本来猜GBDT获取的组合特征，需要自己去解析GBDT的树，scikit learn里面竟然直接调用apply函数就可以了

# 弱分类器的数目
n_estimator = 10
# 随机生成分类数据。
X, y = make_classification(n_samples=80000)  
# 切分为测试集和训练集，比例0.5 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5) # 将训练集切分为两部分，一部分用于训练GBDT模型，另一部分输入到训练好的GBDT模型生成GBDT特征，然后作为LR的特征。这样分成两部分是为了防止过拟合。 X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5) # 调用GBDT分类模型。 grd = GradientBoostingClassifier(n_estimators=n_estimator) # 调用one-hot编码。 grd_enc = OneHotEncoder() # 调用LR分类模型。 grd_lm = LogisticRegression() '''使用X_train训练GBDT模型，后面用此模型构造特征''' grd.fit(X_train, y_train) # fit one-hot编码器 grd_enc.fit(grd.apply(X_train)[:, :, 0]) ''' 使用训练好的GBDT模型构建特征，然后将特征经过one-hot编码作为新的特征输入到LR模型训练。 ''' grd_lm.fit(grd_enc.transform(grd.apply(X_train_lr)[:, :, 0]), y_train_lr) # 用训练好的LR模型多X_test做预测 y_pred_grd_lm = grd_lm.predict_proba(grd_enc.transform(grd.apply(X_test)[:, :, 0]))[:, 1] # 根据预测结果输出 fpr_grd_lm, tpr_grd_lm, _ = roc_curve(y_test, y_pred_grd_lm)

转载于:https://www.cnblogs.com/wuxiangli/p/7259253.html