【机器学习】深度剖析 LightGBM vs XGBOOST 哪个更胜一筹

最新推荐文章于 2024-03-27 08:52:35 发布
最新推荐文章于 2024-03-27 08:52:35 发布
阅读量9.9k 收藏 65
点赞数 14
文章标签： 算法 决策树 人工智能 大数据 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwODI2NDkxNQ==&mid=2247502029&idx=1&sn=e3662b2510ec5a1b464e18e501fd454d&chksm=97074371a070ca67ec12ac0d4da5c0ab0af56985eb2ade04228b8560f1776e1a9841cbdb78cb&scene=126&&sessionid=0
版权

今天就 LightGBM 和 XGBOOST 放在一起对比学习下，以便加深印象。

写在前面

作为一个机器学习研习者，大概会了解 Boosting Machines 及其功能。Boosting Machines 的发展从 AdaBoost 开始，发展到一度很受欢迎的 XGBOOST，因其非常强大而成为在 Kaggle 上赢得比赛的常用算法。但在大量的数据的情况下，XGBOOST 也需要很长时间来训练。

另外一个强大的集成算法 Light Gradient Boosting，他是一种怎样的提升机器算法？是否优于 XGBOOST？这是很多初学者在刚接触这两个算法时，通常是比较迷茫的。

接下来我们就来一起研习 LightGBM 相关问题。并深度对比分析它与XGBOOST的优劣。

77d943f61c2c4531462de1b09349fc27.png

01 什么是LightGBM

LightGBM 是一种基于决策树算法的快速、分布式、高性能梯度提升框架，用于排序、分类和许多其他机器学习任务。

虽然它同样是基于决策树算法，而它以最佳拟合方式分割树的叶子，而其他提升算法则是按深度或级别而不是按叶分割树。因此，当在 LightGBM 中的同一片叶子上生长时，leaf-wise 算法比 level-wise 算法在计算损失时将减少的更多，从而达到更好的精度，这是任何现有的 boosting 算法都很难实现的。此外，它的速度非常快，这也是 "light "这个词的由来。

下面是 LightGBM 和 XGBOOST 的树模型生长的示意图，从图中可以清楚地看到它们之间的差异。

3243026c965bd9516bac3eec65aa77db.png

XGBOOST 中的 level-wise 树生长。

55741f9027aa033045bc3d901672c9a4.png

LightGBM 中的leaf-wise 的树生长。

虽然逐叶拆分会导致复杂性增加，并可能导致过度拟合，但可以通过调整参数 max-depth 来克服该问题，该参数设定树叶子节点将发生拆分的深度。

02 安装 Light GBM

下面，我们一起安装 LightGBM 及使用其建立模型的步骤。我们会将其得到的结果与 XGBOOST 的结果进行比较，这样可以对 LightGBM 模型理解更加深刻。

Windows

事先安装 git for windows[1] , cmake[2]

git clone --recursive https://github.com/Microsoft/LightGBM
cd LightGBM
mkdir build
cd build
cmake -DCMAKE_GENERATOR_PLATFORM=x64 ..
cmake --build . --target ALL_BUILD --config Release

exe 和 dll 将在 LightGBM/Release 文件夹中。

Linux

Light GBM 使用 cmake 构建。

git clone --recursive https://github.com/Microsoft/LightGBM 
cd LightGBM 
mkdir build 
cd build 
cmake .. 
make -j4

OSX

LightGBM 依赖 OpenMP 编译，Apple Clang 不支持，请改用 gcc/g++。

brew install cmake 
brew install gcc --without-multilib 
git clone --recursive https://github.com/Microsoft/LightGBM 
cd LightGBM 
mkdir build 
cd build 
cmake .. 
make -j4

03 XGBOOST 优势

这种算法在预测模型中引入了提升能力。当我们继续深入探索其高精度背后机制时，会发现不少优点：

引入正则化

标准的 GBM 实现没有像 XGBOOST 那样的正则化，因此它也有助于减少过拟合。

XGBOOST 也被称为 "正则化提升" 技术。

并行处理

XGBOOST 实现了并行处理，并且与 GBM 相比速度要快得多。

XGBOOST 还支持在 Hadoop 上实现。

高灵活性

XGBOOST 允许用户定义自定义优化目标和评估标准，这使得模型的限制更小。

处理缺失值

XGBOOST 有一个内置的方法来处理缺失值。并且可以通过提供与其他观察不同的值并将其作为参数传递，以此处理缺失值。

树剪枝

当一个 GBM 在分裂中遇到负损失时，它会停止分裂一个节点。因此它更像是一种贪心算法。

另一方面，XGBOOST 使树分裂达到指定的 max_depth，然后开始向后修剪树并移除没有正增益的分枝。

另一个优点是，有时负损失的拆分可能会跟随正损失的拆分 +10。GBM 会在遇到 -2 时停止。但是 XGBOOST 会更深入，它将看到分裂的 +8 的组合效果并保留两者。

内置交叉验证

XGBOOST 允许在提升过程的每次迭代中运行交叉验证，因此很容易在单次运行中获得准确的最佳提升迭代次数。

这与 GBM 不同，在 GBM 中必须运行网格搜索并且只能测试有限的值。

继续现有模型

用户可以从上次运行的最后一次迭代开始训练 XGBOOST 模型。这在某些特定应用中可能具有显着优势。

04 LightGBM 的优势

更快的训练速度和更高的效率

LightGBM 使用基于直方图的算法（如HGBT），即将连续的特征值存储到离散的 bin 中，从而加快了训练过程。

较低的内存使用量

将连续值替换为离散的 bin，从而降低内存使用量。

比其他 boosting 算法准确性更好

它通过遵循叶方式拆分方法而不是级别方法生成更复杂的树，这是实现更高准确性的主要因素。然而，它有时会导致过度拟合，这可以通过设置 max_depth 参数来避免。

与大型数据集的兼容性

与 XGBOOST 相比，在 大型数据集 上表现更加出色。因为其支持并行学习，显著减少训练时间。

05 LightGBM的参数

在开始构建第一个 LightGBM 模型之前，我们先一起看看 LightGBM 的一些重要参数，以便更好地了解其底层逻辑。

  • task：value = train，options = train，prediction。指定我们希望执行的任务是训练还是预测。

  • application：default=regression，type=enum，options=options

    • regression：执行回归任务

    • binary : 二元分类

    • multiclass：多类分类

    • lambdarank : lambdarank 应用程序

  • data：type=string；训练数据，LightGBM 将根据这些数据进行训练。

  • num_iterations：default=100，type=int。要执行的 boosting 迭代次数。

  • num_leaves：default = 31，type=int。叶一个树的数量。

  • device：default= cpu；options = gpu, cpu。我们要在其上训练模型的设备。可选择 GPU 以加快训练速度。

  • max_depth：指定树将生长的最大深度。该参数用于处理过拟合。

  • min_data_in_leaf：一片叶子中的最小数据数。

  • feature_fraction：default =1。指定每次迭代要采用的特征分数

  • bagging_fraction：default = 1。指定每次迭代要使用的数据比例，通常用于加速训练并避免过度拟合。

  • min_gain_to_split：default = 0.1。执行分裂的最小增益。

  • max_bin：存储特征值的最大 bin 数量。

  • min_data_in_bin：一个 bin 中的最小数据数。

  • num_threads：default=OpenMP_default，type=int。LightGBM 的线程数。

  • label：type=string。指定标签列。

  • categorical_feature：type=string。指定我们要用于训练模型的分类特征。

  • num_class：default=1，type=int。仅用于多类分类。

06 调参对比

LightGBM调参的一般方法

对于基于决策树的模型，调参的方法都是大同小异。一般都需要如下步骤：

  1. 首先选择较高的学习率（大概0.1附近），以加快收敛速度；

  2. 对决策树基本参数调参，以提供模型精度；

  3. 正则化参数调参，以防止模型过拟合；

  4. 最后降低学习率，最后提高准确率。

LightGBM 使用逐叶分割而不是深度分割，这使它能够更快地收敛，但也会导致过度拟合。所以这里有一个快速指南来调整 LightGBM 中的参数。

default=

- {l2 for regression},
- {binary_logloss for binary classification},
- {ndcg for lambdarank},
- type=multi-enum,

options=l1, l2, ndcg, auc, binary_logloss, binary_error …
为了更好的拟合

  • num_leaves：此参数用于设置要在树中形成的叶子数。num_leaves 和 max_depth 之间的理论上关系是 num_leaves= 2^(max_depth)。然而这并不太适合 Light GBM ，因为分裂发生在叶方向而不是深度方向。因此 num_leaves 必须设置小于 2^(max_depth) ，否则可能会导致过拟合。Light GBM 在 num_leaves 和 max_depth 之间没有直接关系，因此两者不能相互关联。

  • min_data_in_leaf：也是处理过拟合的重要参数之一。将其值设置得较小可能会导致过拟合。大型数据集中，它的值应该是数百到数千，具体需要根据实际情况调整。

  • max_depth：它指定树可以生长的最大深度。

为了更快的速度

  • bagging_fraction：用于执行袋装以获得更快的结果

  • feature_fraction：设置要在每次迭代中使用的特征的分数

  • max_bin：较小的 max_bin 值可以节省很多时间，因为它将特征值存储在离散的容器中，计算成本较低。

为了更好的准确性

  • 使用更大的训练数据。

  • num_leaves：将其设置为高值会产生更深的树，并提高准确性，但会导致过度拟合。因此，不优选其较高的值。

  • max_bin：将其设置为高值与增加 num_leaves 值产生的效果类似，也会减慢我们的训练过程。

XGBOOST 调参的一般方法

我们将在这里使用类似于 GBM 的方法。要执行的各个步骤是：

  1. 选择一个比较高的学习率。一般来说，0.1 的学习率是较为常用的，而根据不同的问题，学习率的选用范围一般在 0.05 到 0.3 之间。

  2. 接下来需确定此学习率的最佳集成树数。XGBOOST 有一个非常有用的函数，称为“cv”，它在每次提升迭代时执行交叉验证，从而返回所需的最佳树数。

  3. 调整特定于树的参数 （max_depth、min_child_weight、gamma、subsample、colsample_bytree）以决定学习率和树的数量。

  4. 调整正则化参数（lambda、alpha），这有助于降低模型复杂性并提高性能。

  5. 降低学习率并决定最优参数。

07 应用对比

现在我们通过将这两种算法应用于数据集，通过比较其性能优劣，以此来比较 LightGBM 和 XGBoost 两个算法。

该数据集包含来自不同国家的个人信息。其目标是根据其他可用信息预测一个人的年收入是小于或等于50k还是大于50k。该数据集由 32561 个样本和 14 个特征组成。需要数据集的读者在公众号【机器学习研习院】后台联系作者获取。

数据探索

# 导入库
import numpy as np 
import pandas as pd 
from pandas import Series, DataFrame 
import lightgbm as lgb 
import xgboost as xgb 

# 使用pandas加载我们的训练数据集'adult.csv'，名称为'data'
data=pd.read_csv('adult.csv',header=None) 

# 为列分配名称
data.columns=['age','workclass','fnlwgt','education',
              'education-num','marital_Status','occupation',
              'relationship','race','sex','capital_gain',
              'capital_loss','hours_per_week','native_country','Income'] 
data.head()
614c71f7538a9180717f9f99e71a6f3b.png
对目标变量进行编码
from sklearn.preprocessing import LabelEncoder,OneHotEncoder
l=LabelEncoder()
l.fit(data.Income) 
l.classes_
array([' <=50K', ' >50K'], dtype=object)
一个热编码的分类特征
one_hot_workclass=pd.get_dummies(data.workclass) 
one_hot_education=pd.get_dummies(data.education) 
one_hot_marital_Status=pd.get_dummies(data.marital_Status) 
one_hot_occupation=pd.get_dummies(data.occupation)
one_hot_relationship=pd.get_dummies(data.relationship) 
one_hot_race=pd.get_dummies(data.race) 
one_hot_sex=pd.get_dummies(data.sex) 
one_hot_native_country=pd.get_dummies(data.native_country) 

# 删除分类特征 
data.drop(['workclass','education','marital_Status',
           'occupation','relationship','race','sex',
           'native_country'],axis=1,inplace=True) 

# 与我们的数据集'data'合并一个热编码特性
data=pd.concat([data,one_hot_workclass,one_hot_education,
                one_hot_marital_Status,one_hot_occupation,
                one_hot_relationship,one_hot_race,one_hot_sex,
                one_hot_native_country],axis=1) 

# 删除dulpicate列
_, i = np.unique(data.columns, return_index=True) 
data=data.iloc[:, i] 
data
06f819fe647e2bba82dcb63ff2259e0a.png

这里我们的目标变量是"Income"，其值为1或0。然后将数据分为特征数据集x和目标数据集y。

x=data.drop('Income', axis=1) 
y=data.Income

# 将缺失的值输入到目标变量中
y.fillna(y.mode()[0],inplace=True) 

# 现在将我们的数据集分为test和train
from sklearn.model_selection import train_test_split 
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=.3)

XGBOOST 应用

数据存储在一个 DMatrix 对象中，参数 label 用于定义结果变量。

dtrain=xgb.DMatrix(x_train,label=y_train) 
dtest=xgb.DMatrix(x_test)
#设置xgboost
parameters={'max_depth':7, 'eta':1, 'silent':1,
        'objective':'binary:logistic',
        'eval_metric':'auc','learning_rate':.05 }
# 训练模型 
num_round=50 
from datetime import datetime 
start = datetime.now() 
xg=xgb.train(parameters,dtrain,num_round) 
stop = datetime.now()
# 模型执行时间
execution_time_xgb = stop-start 
execution_time_xgb
datetime.timedelta(seconds=3, 
          microseconds=721741)

datetime.timedelta( , , ) 表示( 天, 秒, 微秒)。现在用模型对测试集进行预测。

ypred=xg.predict(dtest) 
ypred
array([0.0600442, 0.1247908, 0.6246425, ...,
       0.157481 , 0.0610904, 0.6457621 ], 
       dtype=float32)

将概率转换为1 或 0 ，将阈值设置为 0.5 ，并模型的计算精度。

for i in range(0,9769): 
    if ypred[i]>=.5: 
       ypred[i]=1 
    else: 
       ypred[i]=0 
from sklearn.metrics import accuracy_score 
accuracy_xgb = accuracy_score(y_test,ypred) 
accuracy_xgb
0.8626266762206981

LightGBM 应用

准备训练数据及设置 LightGBM 的参数，并训练模型。这里将 XGBOOST 和 LightGBM 中的 max_depth 设置均为 7，这样运用控制变量思想以更好地比较两个算法。

train_data=lgb.Dataset(x_train,label=y_train)

param = {'num_leaves':150, 'objective':'binary',
         'max_depth':7,'learning_rate':.05,'max_bin':200} 
param['metric'] = [' auc', 'binary_logloss']
num_round=50 
start=datetime.now() 
lgbm=lgb.train(param,train_data,num_round) 
stop=datetime.now()

#模型执行时间
execution_time_lgbm = stop-start 
execution_time_lgbm
4f247b4d6377bd3eb68c1720843a0bad.png
在测试集上预测数据
ypred2=lgbm.predict(x_test) 
# ypred2[0:5] 
# 显示前 5 个预测

# 将概率转换为 0 或 1
 for i in range(0,9769): 
    if ypred2[i]>=.5: # 将阈值设置为 .5 
       ypred2[i]=1 
    else:   
       ypred2[i]=0
# 计算精度
accuracy_lgbm =accuracy_score(ypred2,y_test) 
y_test.value_counts()
0    7376
1    2393
Name: Income, dtype: int64
计算 XGBOOST 的 roc_auc_score
from sklearn.metrics import roc_auc_score 
auc_xgb = roc_auc_score(y_test,ypred) 
auc_xgb
0.7670270211471818
计算 LightGBM 的 roc_auc_score
auc_lgbm = roc_auc_score(y_test,ypred2)
auc_lgbm
0.761978912192376
comparison_dict = {'accuracy score':(accuracy_lgbm,accuracy_xgb),
                   'auc score':(auc_lgbm,auc_xgb),
                   'execution time':(execution_time_lgbm,execution_time_xgb)}
# 创建一个数据帧'comparison_df'来比较Lightgbm和xgb的性能。 
comparison_df =DataFrame(comparison_dict)
comparison_df.index = [ 'LightGBM'， 'xgboost']
性能对比

d620c2d1ffc48bbb9412d51f0dd5505b.png

通过在 XGBOOST 上应用 LightGBM，准确性和 auc 分数仅略有增加，但训练过程的执行时间存在显着差异。LightGBM 比 XGBOOST 快近 7 倍，并且在处理大型数据集时是一种更好的方法。

当在限时比赛中处理大型数据集时，这将是一个巨大的优势。

08 写在最后

本文简单介绍了 LightGBM 的基本概念。LightGBM 算法除了比 XGBOOST 更准确和更省时外，还优于现有的其他 boosting 算法。比较建议你在使用其他 boosting 算法时，也尝试使用 LightGBM 算法，然后比较它们的优劣。

参考资料

[1]

git for windows: https://git-scm.com/download/win

[2]

cmake: https://cmake.org/

 
 
 
 
 
 
 
 
 
 
往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑
AI基础下载机器学习交流qq群955171419，加入微信群请扫码：
 
 
2a68feb89e0ed8db5b7b34d7d5ce87dd.png
 


                

        

        

    




    

      

        

            

              
                
                  风度78
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    14
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    65
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
XGBoost、LightGBM、Catboost对比

				
			

			

				

					01-06
				

			

		

		

			
				
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。
文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献
1. 对比标准
1.1 数据集
分类：Fashion MNIST（60000条数据784个特征）
回归：NYC Taxi fares（60000条数据7个特征）
大规模数据集：NYC Taxi fares（2百万条数据7个特征）
PS：本文只进行

			
		

	



                

              
                



	

		

			

				
					
XGBoost、LightGBM的详细对比介绍

				
			

			

				

					Mr_HHH的博客
				

				

					03-20
					
					1886
					
				

			

		

		

			
				
sklearn集成方法集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是：bagging基本思想独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型的效果会优于基学习器，因为模型的方差有所降低。常见变体(按照样本采样方式的不同划分)Pasting:直接从样本集里随机抽...

			
		

	



                


  
              

                


	

		

			

				
					
机器学习——LightGBM算法

				
			

			

				

					weixin_39753819的博客
				

				

					03-27
					
					1335
					
				

			

		

		

			
				
LightGBM是一种基于梯度提升框架的机器学习算法，由微软团队开发。相比于传统的梯度提升决策树（GBDT）算法，LightGBM具有更高的训练效率和更低的内存消耗，尤其适用于大规模数据集。LightGBM的目标函数包括损失函数和正则项，通过梯度提升算法来优化目标函数，求得最优的模型参数。

			
		

	





	

		

			

				
					
DataInsight_code_机器学习_lstmcode_lightGBM_lightgbm代码_

				
			

			

				

					10-02
				

			

		

		

			
				
一次高分比赛项目代码，xgbboost+lightgbm+lstm

			
		

	



		

			
		



	

		

			

				
					
XGBoost与LightGBM文本分类源代码及数据集.zip

				
			

			

				

					04-16
				

			

		

		

			
				
1、内容概要：本资源主要基于XGBoost与LightGBM实现文本分类，适用于初学者学习文本分类使用。
2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train，训练好的word2vec词向量模型w2v_model.pkl和中文停用词表stopwords.txt，可用于模型训练和测试，详细数据集介绍见商品评论情感数据说明文档。
3、源代码：word2vec_analysis.py 是基于Word2Vec进行词向量的生成，采用向量平均求得句向量，然后分别构建RandomForest和GBDT分类模型进行文本分类。
4、源代码：xgboost_model.py是基于xgboost模型对文本进行分类。
5、源代码：lightGBM_model.py是基于lightGBM模型对文本进行分类。

			
		

	





	

		

			

				
					
机器学习-lightgbm转pmml

				
			

			

				

					05-15
				

			

		

		

			
				
pmml-lightgbm-example-executable-1.4-SNAPSHOT.jar。
lightgbm模型转pmml文件，可用于java程序调用，实现在线打分功能。
看网站上有人定价为付费，于是开出积分版本，赚点积分，谢谢支持

使用方法:
1. 生产模型基础文件：python环境下模型训练完后, model.booser_.save_model('model.txt')
2. 转pmml: java -jar "pmml-lightgbm-example-executable-1.4-SNAPSHOT.jar" --lgbm-input lgb_model.txt --pmml-output lgb_model.pmml

没有积分的同学可以自行参考：https://blog.csdn.net/nchkchy/article/details/123364126


			
		

	





	

		

			

				
					
XGBoost和LightGBM的比较

					
热门推荐

				
			

			

				

					fly_Xiaoma的博客
				

				

					04-02
					
					3万+
					
				

			

		

		

			
				
目录



1.XGBoost

sgboost中树节点分裂时所采用的公式：

xgboost的分裂步骤：

xgboost总结

LightGBM：基于决策树算法的分布式梯度提升框架

LightGBM在模型的训练速度和内存方面的优化

LightGBM的leaf-wise 的生长策略

LightGBM支持类别型特征

xgboost与LightGBM的区别

1.XGBoost

XGBo...

			
		

	





	

		

			

				
					
lightgbm与xgboost的区别是什么？

				
			

			

				

					weixin_44658599的博客
				

				

					04-20
					
					1838
					
				

			

		

		

			
				
lightgbm和xgboost区别

			
		

	





	

		

			

				
					
LightGBM和XGboost的对比

				
			

			

				

					slibra_L的博客
				

				

					03-25
					
					2397
					
				

			

		

		

			
				
2017年初，微软开源了新的机器学习框架LightGBM，以GBDT为基础，据说在Higgs数据集上LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6 
中文文档：http://lightgbm.apachecn.org/cn/latest/index.html

XGBoost是此前最好的Boosting模型，既然传言LightGBM性能更高，那二者有什么不同呢...

			
		

	





	

		

			

				
					
说一说xgboost和lightgbm的区别是什么

				
			

			

				

					qq_39173848的博客
				

				

					06-15
					
					1368
					
				

			

		

		

			
				
前面提到了，LightGBM是Xgboost的更高效实现， 由微软发布。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。LightGBM相比于Xgboos

			
		

	





	

		

			

				
					
xgboost与LightGBM的区别

				
			

			

				

					人工智能曾小健
				

				

					10-25
					
					681
					
				

			

		

		

			
				
切分算法（切分点的选取）占用的内存更低，只保存特征离散化后的值，而这个值一般用8位整型存储就足够了，内存消耗可以降低为原来的1/8
LightGBM直接支持类别特征
决策树生长策略不同
   XGBoost采用的是带深度限制的level-wise生长策略。level-wise过一次数据可以能够同时分裂同一层的叶子，容易进行多线程优化，不容易过拟合；但不加区分的对待同一层叶子，带来了很多没必要的开销（实际上很多叶子的分裂增益较低，没必要进行搜索和分裂）

   LightGBM采用leaf-...

			
		

	





	

		

			

				
					
个人机器学习框架Xgboost和LightGBM训练代码.zip

					
最新发布

				
			

			

				

					04-02
				

			

		

		

			
				
机器学习（Machine Learning, ML）是一种应用人工智能（AI）领域的科学技术，它使得计算机系统能够从数据中自动学习和改进，而无需显式编程。在机器学习的过程中，算法会通过识别和挖掘数据中的模式来构建一个模型，这个模型可以用于做出预测、分类、聚类、回归以及其他复杂的数据驱动决策。

机器学习的主要类型包括监督学习、无监督学习和半监督学习。在监督学习中，算法根据已知标签的数据集进行训练，以便对未知数据进行预测，例如分类任务（判断邮件是否为垃圾邮件）或回归任务（预测房价）。无监督学习则是在没有标签的情况下，仅凭数据本身的特征发现其中隐藏的结构或模式，如聚类分析（将用户分组到不同的客户细分群体中）。半监督学习介于两者之间，它部分数据有标签，部分数据无标签。

机器学习算法涵盖众多方法，包括但不限于逻辑回归、决策树、随机森林、支持向量机、K近邻算法、神经网络以及深度学习技术等。随着计算能力的增强和大数据时代的到来，机器学习已经在诸多领域展现出强大的功能，如图像识别、语音识别、自然语言处理、推荐系统、金融风控、医疗诊断等。

此外，机器学习的发展与统计学习、逼近论、凸优化、概率论等诸多数学和计算机科学领域紧密相关，且不断地推动着新算法和理论框架的创新与发展。同时，现代机器学习尤其是深度学习模型的内部工作机制有时难以完全解释，因此常被称为“黑箱”决策过程，这也是当前研究中的一个重要挑战。

			
		

	





	

		

			

				
					
LightGBM相比于Xgboost的改进及实践

				
			

			

				

					凝眸伏笔的博客
				

				

					05-16
					
					3048
					
				

			

		

		

			
				
这篇文章内容主要来源与梁云大佬的博客，摘录下来，标注自己的理解。

一，LightGBM和XGBoost对比

LightGBM可以看成是XGBoost的升级加强版本，2017年经微软推出后，便成为各种数据竞赛中刷分夺冠的神兵利器。

正如其名字中的Light所蕴含的那样，和XGBoost相比，LightGBM在大规模数据集上跑起来更加轻盈。

模型精度：XGBoost和LightGBM相当。

训练速度：LightGBM远快于XGBoost。(快百倍以上，跟数据集有关系)

内存消耗：LightGBM远小

			
		

	





	

		

			

				
					
LightGBM对比XGBoost

				
			

			

				

					weixin_37679531的博客
				

				

					03-27
					
					670
					
				

			

		

		

			
				
LightGBM，与XGBoost一样，都是对GBDT的改进与高效实现，原理上讲，它们都是采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。
提出LightGBM的动机
常用的机器学习算法及神经网络都可以以mini batch的方式来训练，灵活设置batch大小以适应硬件的内存限制。但XGBoost每次迭代时，都需要遍历全量的样本以选取分裂点，这在面对海量工业数据时，会难以应对，且...

			
		

	





	

		

			

				
					
XGboost和lightGBM算法对比

				
			

			

				

					weixin_71158509的博客
				

				

					02-13
					
					2401
					
				

			

		

		

			
				
总的来说，XGBoost和LightGBM都是基于梯度提升树的机器学习算法，它们在性能上都有一定的优势，可以用于处理各种类型的机器学习问题。而LightGBM采用的是一种基于直方图（histogram）的方式，将数据划分为多个直方块，并对每个直方块进行划分，从而减少了划分时需要遍历的数据量，提高了效率。总的来说，XGBoost和LightGBM都是强大的机器学习算法，它们各自具有高性能、鲁棒性、泛化能力和高效性等不同的特点，可以根据具体的应用场景和需求来选择使用。

			
		

	





	

		

			

				
					
XGBoost和LightGBM时间序列预测对比（备忘）

				
			

			

				

					2301_77554343的博客
				

				

					12-11
					
					293
					
				

			

		

		

			
				
xgboost 和 LightGBM 都是优秀的梯度提升框架，它们各自具有一些独特的优点和缺点，选择哪一种算法应该根据实际应用场景和数据集的特征来决定。如果数据集中缺失值较多，可以选择 xgboost。如果需要处理大规模数据集并追求更快的训练速度，可以选择 LightGBM。如果需要解释模型的特征重要性，xgboost 提供了更好的特征重要性评估方法，并且如果需要更加鲁棒的模型，可以优先选择xgboost。

			
		

	





	

		

			

				
					
Boosting三巨头：XGBoost、LightGBM和CatBoost（发展、原理、区别和联系，附代码和案例）

				
			

			

				

					Chaos的博客
				

				

					03-09
					
					3648
					
				

			

		

		

			
				
机器学习中，提高模型精度是研究的重点之一，而模型融合技术中，Boosting算法是一种常用的方法。在Boosting算法中，XGBoost、LightGBM和CatBoost是三个最为流行的框架。它们在实际使用中有各自的优势和适用场景，下面将会介绍它们的区别与联系。

			
		

	





	

		

			

				
					
XGBoost和LightGBM时间序列预测对比

				
			

			

				

					deephub
				

				

					03-02
					
					5041
					
				

			

		

		

			
				
xgboost 和 LightGBM 都是优秀的梯度提升框架，它们各自具有一些独特的优点和缺点，选择哪一种算法应该根据实际应用场景和数据集的特征来决定。如果数据集中缺失值较多，可以选择 xgboost。如果需要处理大规模数据集并追求更快的训练速度，可以选择 LightGBM。如果需要解释模型的特征重要性，xgboost 提供了更好的特征重要性评估方法，并且如果需要更加鲁棒的模型，可以优先选择xgboost。

			
		

	





	

		

			

				
					
XGBoost与Light-GBM算法

				
			

			

				

					m0_46388544的博客
				

				

					02-02
					
					2334
					
				

			

		

		

			
				
本文代码及数据集来自《Python大数据分析与机器学习商业案例实战》

一、XGBoost算法
XGBoost算法在某种程度上可以说是GBDT算法的改良版，两者在本质上都是利用了Boosting算法中拟合残差的思想。XGBoost算法的官方说明文档网址
作为对GBDT算法的高效实现，XGBoost算法在以下两方面进行了优化。

算法本身的优化：XGBoost算法的损失函数，除了本身的损失，还加上了正则化部分，可以防止过拟合，泛化能力更强。XGBoost算法的损失函数是对误差部分做二阶泰勒展开，相较于GBD.

			
		

	





	

		

			

				
					
lightgbm和xgboost

				
			

			

				

					02-03
				

			

		

		

			
				
LightGBM和XGBoost都是常用的梯度提升树（Gradient Boosting Decision Tree）算法库，用于解决分类和回归问题。它们在机器学习和数据挖掘领域广泛应用，并且在许多数据竞赛中取得了优异的成绩。

LightGBM（Light Gradient Boosting Machine）是由微软开发的一种高效的梯度提升树算法库。相比于传统的梯度提升树算法，LightGBM具有更快的训练速度和更低的内存消耗。它采用了基于直方图的决策树算法，通过对特征值进行离散化，减少了计算量。此外，LightGBM还支持并行化训练和分布式计算，可以处理大规模数据集。

XGBoost（eXtreme Gradient Boosting）是由陈天奇开发的一种梯度提升树算法库。它在梯度提升树的基础上引入了正则化项，通过控制模型复杂度来提高泛化能力。XGBoost具有较高的准确性和鲁棒性，并且支持并行化训练和分布式计算。它还提供了丰富的参数调优选项，可以根据具体问题进行优化。

总结一下，LightGBM和XGBoost都是强大的梯度提升树算法库，它们在训练速度、内存消耗和准确性等方面都有优势。选择使用哪个算法库取决于具体的问题和数据集特征。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值