基于集成学习方法Random Forest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析（2）

最新推荐文章于 2024-04-22 16:07:30 发布
最新推荐文章于 2024-04-22 16:07:30 发布
阅读量577 收藏 11
点赞数
文章标签： python 机器学习 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44677599/article/details/113118021
版权

基于集成学习方法Random Forest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析（2）

引言

接上一篇，本篇将会使用集成方法建模学习

在这里插入图片描述

3. adaboost模型分类

贝叶斯调参

from sklearn.ensemble import AdaBoostClassifier
from bayes_opt import BayesianOptimization
from sklearn.model_selection import cross_val_score

weak_classifier = DecisionTreeClassifier(criterion='gini',max_features= 0.9,splitter= 'best')

def rf_cv(n_estimators,learning_rate):
    val = cross_val_score(
        AdaBoostClassifier(base_estimator=weak_classifier,
                           n_estimators=int(n_estimators),
                           learning_rate=learning_rate
        ),
       X_train, y_train, scoring='roc_auc', cv=5
    ).mean()
    return val

rf_bo = BayesianOptimization(rf_cv,{'n_estimators': (10, 250),'learning_rate':(0.1,1.5)})
rf_bo.maximize()

在这里插入图片描述

adaboost模型分类

# 这里需要注意基分类器不能更加细化，防止过拟合。
adaboost_model = AdaBoostClassifier(base_estimator=DecisionTreeClassifier(criterion='gini',max_features= 0.9,splitter= 'best'),learning_rate= 0.8258,n_estimators=147)
adaboost_model.fit(X_train,y_train)
roc_auc_score(y_test,adaboost_model.predict(X_test))

0.9738830247104178

F1 分数

print(classification_report(y_test,adaboost_model.predict(X_test)))

在这里插入图片描述

混淆矩阵

from sklearn.metrics import plot_confusion_matrix
plot_confusion_matrix(estimator=adaboost_model,X=X_test,y_true=y_test,cmap='PuBuGn')

在这里插入图片描述

adaboost获取特征重要性

importances = adaboost_model.feature_importances_
# 获取特征名称
feat_names = x.columns
# 排序
indices = np.argsort(importances)[::-1]
# 绘图
plt.figure(figsize=(12,6))
plt.title("adaboost模型特征重要度")
plt.bar(range(len(indices)), importances[indices], color='lightblue',  align="center")
# 添加数据标签
for a, b in zip(range(len(indices)), importances[indices]):
    plt.text(a, b + 0.05, '%f' % b, ha='center', va='bottom', fontsize=10)
plt.step(range(len(indices)), np.cumsum(importances[indices]), where='mid', label='Cumulative')
plt.xticks(range(len(indices)), feat_names[indices], rotation='vertical',fontsize=14)
plt.xlim([-1, len(indices)])
plt.show()

在这里插入图片描述

4.GBDT模型分类

贝叶斯调参

from sklearn.ensemble import GradientBoostingClassifier
def rf_cv(n_estimators,learning_rate):
    val = cross_val_score(
        GradientBoostingClassifier(
                           n_estimators=int(n_estimators),
                           learning_rate=learning_rate
        ),
       X_train, y_train, scoring='roc_auc', cv=10
    ).mean()
    return val

rf_bo = BayesianOptimization(rf_cv,{'n_estimators': (10, 250),'learning_rate':(0.1,1.5)})
rf_bo.maximize()

在这里插入图片描述

GBDT模型分类

gbdt_model=GradientBoostingClassifier(n_estimators=249,learning_rate=0.3278)
gbdt_model.fit(X_train,y_train)
print(roc_auc_score(y_test,gbdt_model.predict(X_test)))
print(classification_report(y_test,gbdt_model.predict(X_test)))

0.9738510449657266
在这里插入图片描述

绘制混淆矩阵

from sklearn.metrics import plot_confusion_matrix
plot_confusion_matrix(estimator=gbdt_model,X=X_test,y_true=y_test,cmap='PuBuGn')

在这里插入图片描述

5. LightGBM分类（未调参）

import lightgbm as lgb
from sklearn.metrics import accuracy_score

lgb_param = {
    'boosting_type': 'gbdt',  # 设置提升类型
    'objective': 'binary',  # 目标函数
    'metric': { 'auc'},  # 评估函数
    'num_leaves': 31,  # 叶子节点数
    'learning_rate': 0.36,  # 学习速率
    'feature_fraction': 0.9,  # 建树的特征选择比例
    'bagging_fraction': 0.8,  # 建树的样本采样比例
    'bagging_freq': 5,  # k 意味着每 k 次迭代执行bagging
    'verbose': 1  # <0 显示致命的, =0 显示错误 (警告), >0 显示信息
}

# 数据格式转换
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

# 参数设置
boost_round = 50 # 迭代次数              
early_stop_rounds = 10 # 验证数据若在early_stop_rounds轮中未提高，则提前停止

# 模型训练:加入提前停止的功能
results = {}
gbm = lgb.train(lgb_param,
                lgb_train,
                num_boost_round= boost_round,
                valid_sets=(lgb_eval, lgb_train),
                valid_names=('validate','train'),
                early_stopping_rounds = early_stop_rounds,
                evals_result= results)

在这里插入图片描述

模型评估

lgb.plot_metric(results,xlim=(0,50),ylim=(0.975, 1))
plt.show()

在这里插入图片描述

F1 分数

predictions_lgbm_prob = gbm.predict(X_test, num_iteration=gbm.best_iteration)
predictions_lgbm_01 = np.where(predictions_lgbm_prob > 0.5, 1, 0)
print(roc_auc_score(y_test,predictions_lgbm_01))
print(classification_report(y_test,predictions_lgbm_01))

在这里插入图片描述

绘制重要的特征

lgb.plot_importance(gbm,importance_type = "split")
plt.show()

在这里插入图片描述

6. XGBoost分类

XGBoost调参

最佳迭代次数：n_estimators

from sklearn.model_selection import GridSearchCV
cv_params = {'n_estimators': [200,280,350]}
other_params = {'learning_rate': 0.1, 'n_estimators': 100, 'max_depth': 5, 'min_child_weight': 1, 'seed': 0,
                'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1,'tree_method': 'gpu_hist' }
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

max_depth 和 min_weight 参数调优

cv_params = {'max_depth': [4,9,10], 'min_child_weight': [1,6]}
other_params = {'learning_rate': 0.1, 'n_estimators': 528, 'max_depth': 5, 'min_child_weight': 1, 'seed': 0,
                    'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1 ,'tree_method': 'gpu_hist'}
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

gamma参数调优

cv_params = {'gamma': [0,0.1,0.5]}
other_params = {'learning_rate': 0.1, 'n_estimators': 1150, 'max_depth': 9, 'min_child_weight': 1, 'seed': 0,
                    'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1}
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

调整subsample 和 colsample_bytree 参数

cv_params = {'subsample': [0.75,0.8, 0.85], 'colsample_bytree': [0.85, 0.9,0.95]}
other_params = {'learning_rate': 0.1, 'n_estimators': 1150, 'max_depth':9, 'min_child_weight': 1, 'seed': 0,
                    'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1}
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

reg_alpha以及reg_lambda调参

cv_params = {'reg_alpha': [0.1, 0.2], 'reg_lambda': [1,1.5]}
other_params = {'learning_rate': 0.1, 'n_estimators': 1150, 'max_depth':9, 'min_child_weight': 1, 'seed': 0,
                    'subsample': 0.8, 'colsample_bytree': 0.9, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1}
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

learning_rate，一般要调小学习率来测试

cv_params = {'learning_rate': [0.01, 0.05, 0.07, 0.1, 0.2]}
other_params = {'learning_rate': 0.1, 'n_estimators': 1150, 'max_depth':9, 'min_child_weight': 1, 'seed': 0,
                    'subsample': 0.8, 'colsample_bytree': 0.9, 'gamma': 0, 'reg_alpha': 0.1, 'reg_lambda': 1}
model = xgb.XGBClassifier(**other_params)
optimized_GBM = GridSearchCV(estimator=model, param_grid=cv_params, scoring='r2', cv=5, verbose=1, n_jobs=4)
optimized_GBM.fit(X_train, y_train)
evalute_result = optimized_GBM.cv_results_['mean_test_score']
print('每轮迭代运行结果:{0}'.format(evalute_result))
print('参数的最佳取值：{0}'.format(optimized_GBM.best_params_))
print('最佳模型得分:{0}'.format(optimized_GBM.best_score_))

在这里插入图片描述

Xgboost分类

xgg_model = XGBClassifier(learning_rate=0.1, n_estimators=280, max_depth=25, min_child_weight=1, seed=0,
                             subsample=0.8, colsample_bytree=0.9, gamma=0, reg_alpha=0.1, reg_lambda=1)
xgg_model.fit(X_train, y_train)

在这里插入图片描述

 # 对测试集进行预测
ans = xgg_model.predict(X_test)
print(roc_auc_score(y_test,ans))
print(classification_report(y_test,ans))

在这里插入图片描述

混淆矩阵

plt.figure()
cm = confusion_matrix(y_test,ans)
plt.figure(figsize=(8,6))
sns.heatmap(cm,  annot = True, fmt='d', cmap="Blues", vmin = 0.2)
plt.title('Confusion Matrix')
plt.ylabel('True Class')
plt.xlabel('Predicted Class')
plt.show()

在这里插入图片描述

特征重要度

xgb.plot_importance(xgg_model)

在这里插入图片描述

importances = xgg_model.feature_importances_
# 获取特征名称
feat_names = x.columns
# 排序
indices = np.argsort(importances)[::-1]
# 绘图
plt.figure(figsize=(12,6))
plt.title("xgboost模型特征重要度")
plt.bar(range(len(indices)), importances[indices], color='lightblue',  align="center")
# 添加数据标签
for a, b in zip(range(len(indices)), importances[indices]):
    plt.text(a, b + 0.05, '%f' % b, ha='center', va='bottom', fontsize=10)
plt.step(range(len(indices)), np.cumsum(importances[indices]), where='mid', label='Cumulative')
plt.xticks(range(len(indices)), feat_names[indices], rotation='vertical',fontsize=14)
plt.xlim([-1, len(indices)])
plt.show()

在这里插入图片描述

比较adaboost，lightgbm，GBDT，xgboost

ROC曲线

# 计算ROC曲线
ad_fpr, ad_tpr, ad_thresholds = roc_curve(y_test, adaboost_model.predict(X_test))
gb_fpr, gb_tpr, gb_thresholds = roc_curve(y_test, gbm.predict(X_test))
gbdt_fpr, gbdt_tpr, gbdt_thresholds = roc_curve(y_test, gbdt_model.predict(X_test))
xg_fpr, xg_tpr, xg_thresholds = roc_curve(y_test, xgg_model.predict(X_test))

plt.figure()

# adaboost ROC
plt.plot(ad_fpr, ad_tpr, label='adaboost(面积 = %0.4f)' % roc_auc_score(y_test,adaboost_model.predict(X_test)))

# lightgbm ROC
plt.plot(gb_fpr, gb_tpr, label='lightgbm(面积 = %0.4f)' % roc_auc_score(y_test,gbm.predict(X_test)))

# GBDT ROC
plt.plot(gbdt_fpr, gbdt_tpr, label='GBDT(面积 = %0.4f)' % roc_auc_score(y_test,gbdt_model.predict(X_test)))

# xgboost ROC
plt.plot(xg_fpr, xg_tpr, label='xgboost(面积 = %0.4f)' % roc_auc_score(y_test,xgg_model.predict(X_test)))

# 绘图
plt.xlim([0.0, 0.02])
plt.ylim([0.0, 1.05])
plt.xlabel('假阳性率（FPR）')
plt.ylabel('真阳性率（TPR）')
plt.title('ROC曲线')
plt.legend(loc="lower right")
plt.show()

在这里插入图片描述

比较混淆矩阵

plt.figure(figsize=(6,6), dpi=80)
plt.figure(1)

ax1 = plt.subplot(221)
c1 = confusion_matrix(y_test,adaboost_model.predict(X_test))
sns.heatmap(c1,annot = True, fmt='d', cmap='PuBuGn', vmin = 0.2)
plt.title('adaboost分类器的混淆矩阵')
plt.ylabel('True Class')
plt.xlabel('Predicted Class')
ax2 = plt.subplot(222)
c2 = confusion_matrix(y_test,predictions_lgbm_01)
sns.heatmap(c2,annot = True, fmt='d', cmap='Blues', vmin = 0.2)
plt.title('lightgbm分类器的混淆矩阵')
plt.ylabel('True Class')
plt.xlabel('Predicted Class')
ax3 = plt.subplot(223)
c3 = confusion_matrix(y_test,gbdt_model.predict(X_test))
sns.heatmap(c3,annot = True, fmt='d', cmap='GnBu', vmin = 0.2)
plt.title('GBDT分类器的混淆矩阵')
plt.ylabel('True Class')
plt.xlabel('Predicted Class')
ax4 = plt.subplot(224)
c4 = confusion_matrix(y_test,xgg_model.predict(X_test))
sns.heatmap(c4,annot = True, fmt='d', cmap='Oranges', vmin = 0.2)
plt.title('XGBoost分类器的混淆矩阵')
plt.ylabel('True Class')
plt.xlabel('Predicted Class')
plt.tight_layout()

在这里插入图片描述

多数/硬投票

from sklearn.ensemble import VotingClassifier

eclf = VotingClassifier(estimators=[('adaboost', adaboost_model),  ('GBDT', gbdt_model), ('XGBoost', xgg_model)], voting='hard')

for clf, label in zip([adaboost_model, gbdt_model,xgg_model,eclf], ['adaboost',  'GBDT', 'XGBoost', 'Ensemble']):
    scores = cross_val_score(clf, X_test, y_test, cv=5, scoring='accuracy')
    print("Accuracy: %0.5f (+/- %0.5f) [%s]" % (scores.mean(), scores.std(), label))

在这里插入图片描述

smile_小北
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
基于增量学习思想的改进AdaBoost 建模方法
01-14
针对软测量建模的特点以及建模过程中存在的主要问题, 提出了基于AdaBoost RT 集成学习方法的软测量 建模方法, 并根据AdaBoost RT 算法固有的不足和软测量模型在线更新所面临的困难, 提出了自适应修改阈值?...
随机森林RF、XGBoost、GBDT和LightGBM的原理和区别
weixin_30279315的博客
03-18 1546
目录 1、基本知识点介绍 2、各个算法原理 2.1 随机森林 -- RandomForest 2.2 XGBoost算法 2.3 GBDT算法（Gradient Boosting Decision Tree） 2.4 LightGBM提升学习模型 ...
基于python的kaggle练习(二)——员工离职预测
热门推荐
muxuehan0的博客
05-11 1万+
前沿 目前社会上呈现出一种公司招不到人，大批失业人员的矛盾现象，且大部分公司的离职率居高不下，很多入职没多久就辞职，所花费的培训招聘等资源都浪费了。为了弄清楚公司员工离职原因，通过kaggle上某一家企业员工离职的真实数据来对离职率进行分析建模。 一、初识数据 1、数据来源 数据来源：[https://www.kaggle.com/jiangzuo/hr-comma-sep/version/1] 2、载入数据 import pandas as pd import numpy as np data=p
AdaBoost、GBDT、RF、XGboost、lightGBM的对比分析
海晨威
01-31 3750
文章目录AdaBoostGBDTRandom ForestXGboostLightGBM对比分析 AdaBoost 简单介绍 AdaBoost是基于boosting的思想，通过多个弱分类器的线性组合来得到强分类器，训练时重点关注被错分的样本，准确率高的弱分类器权重大。 更深一步的介绍 在训练过程中，它不改变所给的训练数据，而是不断改变训练数据权值的分布，使得被误分类的数据再后一轮的分类中受到更大的...
员工离职预测
daotian
12-05 654
集成学习的主要思想是将多个弱分类器按照某种方式组合起来，形成一个强分类器。目前集成学习可分为三种类型，分别是Bagging，Boosting，Stacking。 Bagging，把数据集通过有放回的抽样方式，划分为多个数据集，分别训练多个模型。针对分类问题，按照少数服从多数原则进行投票，针对回归问题，求多个测试结果的平均值。 Boosting，与Bagging一样，使用的相同的弱学习器，不同的是以自适应的方法顺序地学习这些弱学习器，即每个新学习器都依赖于前面的模型，并按照某种确定性的策略将它
DataCastle员工离职预测数据竞赛个人总结
buttogo的博客
06-12 1723
DataCastle员工离职预测数据竞赛个人总结 赛题链接 赛题任务： 给定影响员工离职的因素和员工是否离职的记录，建立模型预测有可能离职的员工。 数据字段： （1）Age：员工年龄 ； （2）Label：员工是否已经离职，1表示已经离职，2表示未离职，这是目标预测值； （3）BusinessTravel：商务差旅频率，Non-Travel表示不出差，Travel_Rarely表示不经常出差，Travel_Frequently表示经常出差； （4）Department：员工所在部门，Sales表示销售部，R
利用python进行AdaBoost模型预测
tiantianzs的博客
10-25 3134
以信用卡违约数据为例，该数据集来源于UCI网站，一共包30 000条记录和25个变量，其中自变量包含客户的性别、受教育水平、年龄、婚姻状况、信用额度、6个月的历史还款状态、账单金额以及还款金额，因变量y表示用户在下个月的信用卡还款中是否存在违约的情况（1表示违约，0表示不违约）。 Python代码如下： （1）导入python自带包以及第三方包 import pandas as pd import matplotlib.pyplot as plt from sklearn import model_
python决策树预测模型_python机器学习：决策树（二）
weixin_39623050的博客
11-24 599
分析决策树：分析决策树是利用tree模块的export_graphviz函数来将树可视化，从而便于深入理解对应的算法是如何进行的（该函数会生成一个.dot格式文件，这是一种用于保存图像的文本文件格式）。示例代码如下：from sklearn.tree import export_graphvizexport_graphviz(tree, out_file="tree.dot", class_nam...
决策树 随机森林 xgboost_AdaBoost、GBDT、RF、XGboost、LightGBM的对比分析
weixin_39591720的博客
11-23 695
AdaBoost简单介绍AdaBoost是基于boosting的思想，通过多个弱分类器的线性组合来得到强分类器，训练时重点关注被错分的样本，准确率高的弱分类器权重大。更深一步的介绍在训练过程中，它不改变所给的训练数据，而是不断改变训练数据权值的分布，使得被误分类的数据再后一轮的分类中受到更大的关注。同时采用加权多数表决的方法，加大分类误差率小的弱分类器的权值，使其在最后的表决中起更大的作用，减小分...
集成学习之bagging、boosting及AdaBoost的实现
02-02
集成学习（ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时被称为多分类器学习系统、基于委员会的学习等。下图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来。...
人工智能-项目实践-集成学习-串行集成学习方法 自适应增强 Adaboost
05-07
人工智能-项目实践-集成学习-串行集成学习方法 自适应增强 Adaboost
基于集成学习的英文语义识别方法研究与实现
01-12
针对英文语义自动化识别的需求，文中对英文的语义角色标注方法进行了研究，通过引入集成学习算法，实现了英文语句中施事、受事、来源、目的等论元标签的识别。文中的集成学习算法使用Adaboost作为集成策略，集成学习...
Random Forest、Adaboost、GBDT、XGBoost的区别是什么？
Jiashilin
07-26 4303
Random Forest、Adaboost、GBDT、XGBoost的区别是什么？ Random Forest是一种基于Bagging思想的Ensemble learning方法，它实际上就是Bagging + 决策树。Random Forest可以用来做分类也可以做回归，做分类时最后多棵树的分类器通过voting来决定分类结果；做回归时，由多棵树预测值的averaging来决定预测结果...
逻辑回归，决策树，SVM,随机森林，GBDT,Xgboost,lightGBM的评分效果观察
weixin_41370083的博客
06-13 1484
https://blog.csdn.net/weixin_41710583/article/details/85016622
决策树、随机森林、GBDT、xgboost、lightgbm、CatBoost相关分析
u014033218的专栏
03-31 8984
基础 一切树模型的都是基于特征空间划分的条件概率分布，都具有方差大的特性，对量纲无要求，所以我们先介绍几种条件概率公式： 一,条件概率 二,全概率 三,贝叶斯 1. 决策树 递归树，它将特征空间划分为互不相交的单元。递归划分特征 ，生成多个if-then的规则，每条规则对应一个从根节点到叶子节点的条件概率分布单元，该单元由总的条件概率分布计算得来，表示给定...
鸢尾花数据集分类-AdaBoost\XGBoost
weixin_42567027的博客
07-23 2690
文章目录集成学习集成学习分类AdaboostXGBoostBoosting和Bagging代码对比实验分析 集成学习 构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。算法要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。 XGBoost属于Boosting 集成算法。 集成学习分类 根据各个弱分类器之间是否存在有依赖关系，分为Boosting和Bagging两类。 Boosting：各分类器之间有依赖关系，必须串行，比如Adaboos
xgboost和lightgbm算法总结（从决策树到xgboost）
abc200941410128的博客
05-05 4723
xgboost和lightGBM在中外各种比赛（如kaggle）中使用频率最多的一种算法之一（若不是最近几年竞赛数据越来越多图片文本语言类数据，甚至可以去掉之一）。xgboost和lightGBM是一个基于树模型的分布式Boosting算法，并不是如逻辑回归，支持向量机等单一的算法模型，因此在介绍xgboost和lightGBM算法前需对比介绍决策树、随机森林、ababoost、GBDT等算法和相...
[机器学习 ] RandomForest、GBDT、XGBoost、lightGBM 原理与区别
摩登都市天空---专栏
08-28 1万+
目录 随机森林 -- RandomForest GBDT(GradientBoostingDecisionTree) XGBoost lightGBM RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。 根据基本学习器的生成方式，目前的集成学习方...
【编译程序介绍】
最新发布
武帝为此的博客
04-22 1034
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
adaboost gbdt xgboost lightgbm
06-28
Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值