XGB v.s. LGB

最新推荐文章于 2024-06-18 21:40:11 发布
最新推荐文章于 2024-06-18 21:40:11 发布
阅读量6.2k 收藏 6
点赞数 3
分类专栏： 机器学习算法 文章标签： xgboost xgb lightgbm lgb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AiirrrrYee/article/details/78655122
版权

分裂

  • XGB：Level-wise，一次分裂同一层的叶子，但很多叶子分裂增益低、有不必要的搜索和分裂
  • LGB：Leaf-wise with 深度限制，从所有叶子中找增益最大的叶子分裂

决策树算法

  • XGB：exact决策树
  • LGB：Histogram

加速

  • XGB：无
  • LGB：直方图做差（父－兄弟）

categorical feature

  • XGB：需要one hot / dummy
  • LGB：支持

直方图

  • XGB：近似直方图算法：对所有feature每一层建一直方图
  • LGB：对每一feature建直方图，只需一次
AiirrrrYee
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
XGB & LGB & GBDT 比较
weixin_42330675的博客
03-22 3459
XGB & LGB & GBDT 原理
关于XGB和LGB的区别和联系
weixin_41816654的博客
02-21 1万+
在前一阶段的项目中用到了LGB，比起刚开始准备的XGB，结果告诉我LGB速度更快，且准确率更高，鉴于目前各大比赛或者面试中常考这两种算法，总结一下目前两者耳朵区别和联系： xgboost采用的是level-wise的分裂策略，而lightGBM采用了leaf-wise的策略，区别是xgboost对每一层所有节点做无差别分裂，可能有些节点的增益非常小，对结果影响不大，但是xgboost也进行了分裂...
机器学习常见知识点 3：Boosting集成学习技术和XGB、LGB
最新发布
m0_63997099的博客
06-18 719
XGBoost（eXtreme Gradient Boosting）和LightGBM（Light Gradient Boosting Machine）都是流行的梯度提升框架，它们在许多机器学习任务中表现出色。这样，算法只需计算每个bin的边界上的最佳分割点，而不是在每个唯一的特征值上计算，大幅减少了计算量。在Boosting算法中，加权投票是一个关键的机制，用于将多个弱学习器的预测结果合成一个最终的预测。，它通过逐步添加新模型来改进整体模型的准确性，每个新模型都尝试纠正前一个模型的残差（错误）。
XGB,LGB,GBDT区别
weixin_41640828的博客
04-14 3128
XGB和LGB区别： 1、直方图优化，对连续特征进行分桶，在损失了一定精度的情况下大大提升了运行速度，并且在gbm的框架下，基学习器的“不精确”分箱反而增强了整体的泛化性能； 2、goss 树的引入； 3、efb，对稀疏特征做了“捆绑”的优化功能； 4、直接支持对于类别特征进行训练（实际上内部是对类别特征做了类似编码的操作了） 5、树的生长方式由level-wise变成leaf-wise； XGB和GBDT的区别有哪些 1、算法层面： （1）损失函数的二阶泰勒展开；（具体的二阶泰..
XGBoost、LightGBM、Catboost对比
01-06
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。 文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献 1. 对比标准 1.1 数据集 分类：Fashion MNIST（60000条数据784个特征） 回归：NYC Taxi fares（60000条数据7个特征） 大规模数据集：NYC Taxi fares（2百万条数据7个特征） PS：本文只进行
GBDT、XGB、LGB原理、差异、面试
stephen147的博客
04-12 2987
xgboost,lightboost,gbdt原理复习
jizhanwang4.8xgb.apk
10-31
jizhanwang4.8xgb.apk
xgb03.ipynb_xgboost_titanic_kaggle_源码
10-04
【标题】"xgb03.ipynb_xgboost_titanic_kaggle_源码"涉及的是一个使用XGBoost解决Kaggle泰坦尼克号生存预测问题的实例。这个项目是数据科学领域的经典案例，它展示了如何利用机器学习算法来预测乘客在泰坦尼克号灾难...
525xgb.ipynb
06-02
2020中国高校计算机大赛·华为云大数据挑战赛热身赛代码 热身赛题——交通流量预测 随着电子信息和移动通信技术高速发展和不断融合，人工智能在各个领域都相继取得了巨大的突破，城市智能体也应运而生，而城市交通又...
人工智能与内容安全风控-4-2 纵向联邦 XGB 算法.zip
05-30
人工智能与内容安全风控-4-2 纵向联邦 XGB 算法
xgb-baseline12.ipynb
05-31
xgb-baseline12.ipynb
xgboost算法_一文带你读懂决策树 ——浅析决策树算法发展脉络
weixin_39734646的博客
11-18 533
0.前言作为一种非常著名的机器学习算法，相信大家对决策树都很熟悉，它不仅是初级面试必问的基础算法，更是仍然活跃于各大工业实践的利器。最近在家整理了一下决策树的相关资料，尝试用一篇短文梳理决策树的发展脉络，帮助大家建立各类决策树算法的基本认知，涉及到的理论与算法包括但不限于：决策树基本思想、ID3、C4.5、CART、adaboost、GBDT、RF、XGB、LGB等。本文作为科普实则门槛稍高，有些...
LightGBM（lgb）详解
热门推荐
weixin_44023658的博客
06-13 6万+
1. LightGBM简介 GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT
机器学习_LGB调参汇总（开箱即食）
大道至简
08-08 3333
在数据层面的一些正负采样，业务层面一些数据筛选，以及异常值的处理后。我们进行模型训练，同时需要对模型进行参数的调整，以提升模型的精度。笔者就一些现有的调参框架进行汇总。
LGB——python实现
Return__None的博客
06-04 1238
# -*- coding:utf-8 -*- import numpy as np import pandas as pd def distance(X, c): m, r = np.shape(X) d = 0 for i in range(m): d = np.sum(np.square(X[i] - c)) + d d = d / (m * 32) return d def division(c): d = [] for
lgb参数
qq_23069955的博客
06-12 2万+
参数： params = {'learning_rate': 0.2, # default=0.1, type=double, alias=shrinkage_rate 'application': 'binary', # default=regression，任务类型 'num_leaves': 31, #...
Task4-LightGBM算法梳理
qq_29066767的博客
08-15 402
# 高级算法梳理-Task4 ## LightGBM梳理 #### 1、LightGBM LightGBM是个**快速、分布式的、高性能的基于决策树算法的梯度提升框架**。可用于排序、分类、回归以及很多其他的机器学习任务中。 因为他是基于决策树算法的，它采用最优的leaf-wise策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是level-wise。因此，在LightGBM算法中，当...
机器学习多分类问题小白入门
m0_52079970的博客
07-19 873
/在这里发现多分类是不支持pr曲线和roc曲线的绘制，报错提示只有二分类才可以，因此我们将多分类问题转化为几个二分类问题，分类别进行画图。'verbose'-1,#0显示信息。#[,i]切片取某一列的所有行，y_score[,i]第i个类的分类结果性能。plt.ylabel('Precision',fontsize=16)#x和y轴标签。print('准确率',accuracy_score(y_test,y_pred))...
xgb.train和xgb.cv
03-12
xgb.train和xgb.cv是XGBoost库中的两个函数，都用于训练和优化梯度提升树模型。xgb.train用于训练模型，xgb.cv用于交叉验证和调参。这些函数可以帮助用户更好地利用XGBoost库来构建高效的机器学习模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值