GBDT+LR 入门+实例

最新推荐文章于 2024-07-16 17:20:29 发布

阿唐明

最新推荐文章于 2024-07-16 17:20:29 发布

阅读量789

点赞数

分类专栏： ml 文章标签：机器学习决策树 python

本文链接：https://blog.csdn.net/persistinlife/article/details/104933347

版权

本文介绍了GBDT+LR的组合应用，首先阐述了GBDT的基本原理，即通过多棵树不断拟合样本残差。接着，通过一个实例展示了如何使用GBDT生成特征，并用这些特征进行LR模型的训练。在实验中，观察到随着GBDT树数量的增加，特征参数增多，最终在one-hot编码后，模型的准确率提升至0.914986559139785。同时，文章还探讨了将原始数据与GBDT特征融合可能带来的挑战。

摘要由CSDN通过智能技术生成

GBDT-LR思想利用GBDT生成特征在利用LR对特征值进行拟合。
GBDT是梯度提升决策树，由多棵树组成。构造一个决策树，根据已有的模型和实际样本输出的残差上再构造一颗决策树，不断地进行迭代。
每一次迭代都会产生一个增益较大的分类特征，因此GBDT树有多少个叶子节点，得到的特征空间就有多大，并将该特征作为LR模型的输入。
在这里插入图片描述

下面通过一个实例说明这个过程。

1.准备数据

使用sklearn 数据集

from sklearn.datasets import make_hastie_10_2
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics.ranking import roc_auc_score
from sklearn.linear_model.logistic import LogisticRegression
from sklearn.preprocessing.data import OneHotEncoder
import numpy as np
from scipy.sparse.construct import hstack
#import warnings
#warnings.filterwarnings('ignore')

X, y = make_hastie_10_2(random_state=0)
x_train, x_test = X[:2000], X[2000:3000]
y_train, y_test = y[:2000], y[2000:3000]

2.GBDT和LR单独拟合

gb = GradientBoostingClassifier(n_estimators=100,
                                 learning_rate=1.0,
                                 max_depth=3,
                                 random_state=0)

gb.fit(x_train, y_train)
score = roc_auc_score(y_test, gb.predict(x_test))
print("GBDT train data shape : {0}  auc: {1}".format(x_train.shape, score))

lr = LogisticRegression()
lr