GBDT+LR

用GBDT构造组合特征的原理

【1】 首先,用GBDT对原始训练数据做训练,得到一个二分类器,利用网格搜索寻找最佳参数组合。

【2】GBDT训练好做预测的时候,把模型中的每棵树计算得到的/预测概率值所属的叶子结点位置记为1,这样,就针对每个样本行/构造出了新的训练数据

【3】新的训练数据构造完后,与原始训练数据中的label(输出)数据一并输入到Logistic Regression分类器中进行最终分类器的训练。
GBDT+LR.jpg

注释:(1)在一个具有n个弱分类器、共计m个叶子结点的GBDT中,每一条训练数据都会被转换为1*m维稀疏向量,且有n个元素为1,其余m-n 个元素全为0。(2)利用GBDT,将原始数据提取为新的数据,数据不仅变得稀疏,而且由于弱分类器个数,叶子结点个数的影响,可能会导致新的训练数据特征维度过大的问题,因此,在Logistic Regression这一层中,可使用正则化来减少过拟合的风险,在Facebook的论文中采用的是L1正则化。(3)RF也是多棵树,但从效果上有实践证明不如GBDT。GBDT前面的树,特征分裂主要体现对多数样本有区分度的特征;后面的树,主要体现的是经过前N颗树,残差仍然较大的少数样本。优先选用在整体上有区分度的特征,再选用针对少数样本有区分度的特征,思路更加合理

代码实现

import numpy as np
from sklearn.preprocessing import OneHotEncoder
from sklearn.ensemble import GradientBoostingClassifier
import pandas as pd

titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
X_train=titanic[['pclass','age','sex']]
Y_train=titanic['survived']
X_train['age'].fillna(X_train['age'].mean(),inplace=True)
print(X_train.shape,Y_train.shape)

from sklearn.feature_extraction import DictVectorizer #特征转换器:将类别型特征独热编码
vec=DictVectorizer(sparse=False)
X_train=vec.fit_transform(pd.DataFrame(X_train).to_dict(orient='record'))


gbm1 = GradientBoostingClassifier(n_estimators=2, random_state=10, subsample=0.6, max_depth=2, min_samples_split=20)
gbm1.fit(X_train, Y_train)
train_new_feature = gbm1.apply(X_train)   #返回训练数据X_train在训练好的模型里每棵树中所处的叶子节点的位置(index)
print(train_new_feature)
train_new_feature = train_new_feature.reshape(-1, 2)

enc = OneHotEncoder()
enc.fit(train_new_feature)
train_new_feature2 = np.array(enc.transform(train_new_feature).toarray())
#做One-hot的方法:OneHotEncoder(),首先fit()过待转换的数据后,再次transform()待转换的数据,就可实现对所有特征的One-hot编码。
#transform()后的数据格式不能直接使用,最后需要使用.toarray()将其转换成数组结构。
print(train_new_feature2,train_new_feature2.shape)

#Output:
# (1313, 6) (1313,)
# [[[2.]
#   [5.]]
# 
#  [[2.]
#   [5.]]
# 
#  [[6.]
#   [3.]]
# 
#  ...
# 
#  [[6.]
#   [3.]]
# 
#  [[3.]
#   [6.]]
# 
#  [[6.]
#   [3.]]]
# [[1. 0. 0. ... 0. 1. 0.]
#  [1. 0. 0. ... 0. 1. 0.]
#  [0. 0. 0. ... 1. 0. 0.]
#  ...
#  [0. 0. 0. ... 1. 0. 0.]
#  [0. 1. 0. ... 0. 0. 1.]
#  [0. 0. 0. ... 1. 0. 0.]] (1313, 8)
GBDT+LR的Python实现可以按照以下步骤进行: 1. 数据预处理:对数据进行清洗、缺失值处理、特征选择等操作。 2. 数据加载:使用Python的数据处理库(如pandas)加载数据集。 3. 模型搭建:使用GBDT模型进行特征转换,将原始特征转换为GBDT树的叶子节点输出的实数值。 4. 训练及预测:使用训练数据训练GBDT模型,并将训练得到的特征转换结果作为LR模型的输入进行训练。然后使用测试数据进行预测。 具体的实现步骤可以参考引用\[1\]和引用\[3\]中提到的内容。在训练阶段,需要获取特征数据并拆分成训练数据和测试数据,然后分别训练GBDT分类器和LR模型。在预测阶段,将待预测的特征输入到GBDT模型中,获取叶子节点并进行拼接,然后使用OneHot编码器将拼接结果转换为OneHot向量,最后使用LR模型进行预测。 总的来说,GBDT+LR的Python实现包括数据预处理、数据加载、模型搭建、训练及预测等步骤,具体的实现细节可以参考引用\[1\]和引用\[3\]中的内容。 #### 引用[.reference_title] - *1* [推荐系统 | 基础推荐模型 | GBDT+LR模型 | Python实现](https://blog.csdn.net/liujiesxs/article/details/126723249)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Facebook的GBDT+LR模型python代码实现](https://blog.csdn.net/weixin_43290383/article/details/121306368)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值