XGBoost与Light-GBM算法

最新推荐文章于 2024-07-12 12:00:03 发布
最新推荐文章于 2024-07-12 12:00:03 发布
阅读量2.7k 收藏 16
点赞数
分类专栏： python机器学习实战 文章标签： 算法 数据挖掘 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46388544/article/details/122768936
版权

本文代码及数据集来自《Python大数据分析与机器学习商业案例实战》

一、XGBoost算法

XGBoost算法在某种程度上可以说是GBDT算法的改良版，两者在本质上都是利用了Boosting算法中拟合残差的思想。XGBoost算法的官方说明文档网址
作为对GBDT算法的高效实现，XGBoost算法在以下两方面进行了优化。

  • 算法本身的优化：XGBoost算法的损失函数，除了本身的损失，还加上了正则化部分，可以防止过拟合，泛化能力更强。XGBoost算法的损失函数是对误差部分做二阶泰勒展开，相较于GBDT算法的损失函数只对误差部分做负梯度（一阶泰勒）展开，更加准确。
  • 算法运行效率的优化：对每个弱学习器，如决策树建立的过程做并行选择，找到合适的子节点分裂特征和特征值，从而提升运行效率。

案例一：分类模型

# XGBoost分类模型
# **模型搭建**
# 1.读取数据
import pandas as pd
df = pd.read_excel('信用卡交易数据.xlsx')

# 2.提取特征变量和目标变量
X = df.drop(columns='欺诈标签')
y = df['欺诈标签']    

# 3.划分训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)

# 4.模型训练及搭建
from xgboost import XGBClassifier
clf = XGBClassifier(n_estimators=100, learning_rate=0.05)
clf.fit(X_train, y_train)

# **模型预测及评估**
y_pred = clf.predict(X_test)
print(y_pred)

a = pd.DataFrame()  # 创建一个空DataFrame
a['预测值'] = list(y_pred)
a['实际值'] = list(y_test)
a.head()

from sklearn.metrics import accuracy_score
score = accuracy_score(y_pred, y_test)
print(score)

print(clf.score(X_test, y_test))

y_pred_proba = clf.predict_proba(X_test)
print(y_pred_proba[0:5])  # 查看前5个预测的概率

from sklearn.metrics import roc_curve
fpr, tpr, thres = roc_curve(y_test, y_pred_proba[:,1])
import matplotlib.pyplot as plt
plt.plot(fpr, tpr)
plt.show()

from sklearn.metrics import roc_auc_score
score = roc_auc_score(y_test, y_pred_proba[:,1])
print(score)

print(clf.feature_importances_)

features = X.columns  # 获取特征名称
importances = clf.feature_importances_  # 获取特征重要性

importances_df = pd.DataFrame()
importances_df['特征名称'] = features
importances_df['特征重要性'] = importances
importances_df.sort_values('特征重要性', ascending=False)
print(importances_df)

运行结果：
在这里插入图片描述
特征名称 特征重要性
0 换设备次数 0.399616
1 支付失败次数 0.195023
2 换IP次数 0.053074
3 换IP国次数 0.323595
4 交易金额 0.028692

# **模型参数调优**
from sklearn.model_selection import GridSearchCV
parameters = {'max_depth': [1, 3, 5], 'n_estimators': [50, 100, 150], 'learning_rate': [0.01, 0.05, 0.1, 0.2]}  # 指定模型中参数的范围
clf = XGBClassifier()  # 构建模型
grid_search = GridSearchCV(clf, parameters, scoring='roc_auc', cv=5)  

grid_search.fit(X_train, y_train)  # 传入数据
print(grid_search.best_params_)  # 输出参数的最优值

clf = XGBClassifier(max_depth=1, n_estimators=100, learning_rate=0.05)
clf.fit(X_train, y_train)

y_pred_proba = clf.predict_proba(X_test)
from sklearn.metrics import roc_auc_score
score = roc_auc_score(y_test, y_pred_proba[:,1])
print(score)

运行结果：score为0.8648648648648649。

案例二：回归模型

# XGBoost回归模型
# 1.读取数据
import pandas as pd
df = pd.read_excel('信用评分卡模型.xlsx')

# 2.提取特征变量和目标变量
X = df.drop(columns='信用评分')
y = df['信用评分']

# 3.划分测试集和训练集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123)

# 4.模型训练及搭建
from xgboost import XGBRegressor
model = XGBRegressor()
model.fit(X_train, y_train)

# 5.模型预测及评估
y_pred = model.predict(X_test)
print(y_pred[0:10])

a = pd.DataFrame()  # 创建一个空DataFrame
a['预测值'] = list(y_pred)
a['实际值'] = list(y_test)
a.head()

from sklearn.metrics import r2_score
r2 = r2_score(y_test, model.predict(X_test))
print(r2)

print(model.score(X_test, y_test))

# 6.查看特征重要性
features = X.columns
importances = model.feature_importances_

importances_df = pd.DataFrame()
importances_df['特征名称'] = features
importances_df['特征重要性'] = importances
importances_df.sort_values('特征重要性', ascending=False)
print(importances_df)

运行结果：
特征名称 特征重要性
0 月收入 0.324461
1 年龄 0.098869
2 性别 0.066339
3 历史授信额度 0.202864
4 历史违约次数 0.307467
得分：0.5715437436791975

# **补充知识点1：XGBoost回归模型的参数调优**
from sklearn.model_selection import GridSearchCV
parameters = {'max_depth': [1, 3, 5], 'n_estimators': [50, 100, 150], 'learning_rate': [0.01, 0.05, 0.1, 0.2]}
clf = XGBRegressor()  # 构建回归模型
grid_search = GridSearchCV(model, parameters, scoring='r2', cv=5) 

grid_search.fit(X_train, y_train)
print(grid_search.best_params_ )

# {'learning_rate': 0.1, 'max_depth': 3, 'n_estimators': 50}

model = XGBRegressor(max_depth=3, n_estimators=50, learning_rate=0.1)
model.fit(X_train, y_train)

from sklearn.metrics import r2_score
r2 = r2_score(y_test, model.predict(X_test))
print(r2)

# 0.688

得分：0.6884486054771359，明显优于调优前。

# **补充知识点2：对于XGBoost模型，有必要做很多数据预处理吗？**
from sklearn.preprocessing import StandardScaler
X_new = StandardScaler().fit_transform(X)
print(X_new)

# 3.划分测试集和训练集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_new, y, test_size=0.2, random_state=123)

# 4.建模
from xgboost import XGBRegressor
model = XGBRegressor()
model.fit(X_train, y_train)

from sklearn.metrics import r2_score
r2 = r2_score(y_test, model.predict(X_test))
print(r2)

运行结果：
[[-0.88269208 -1.04890243 -1.01409939 -0.60873764 0.63591822]
[-0.86319167 0.09630122 0.98609664 -1.55243002 1.27956013]
[-1.39227834 -1.46534013 -1.01409939 -0.83867808 -0.0077237 ]
…
[ 1.44337605 0.61684833 0.98609664 1.01172301 -0.0077237 ]
[ 0.63723633 -0.21602705 0.98609664 -0.32732239 -0.0077237 ]
[ 1.57656755 0.61684833 -1.01409939 1.30047599 -0.0077237 ]]
得分：0.5716150813375576，发现结果和数据没有标准化时的结果一样，都为0.571。这也验证了树模型不需要进行特征的标准化。此外，树模型对于共线性也不敏感。

XGBoost模型的常见超参数

在这里插入图片描述
在这里插入图片描述
至于XGBoost回归模型，大多数参数和上表中列举的XGBoost分类模型的参数一致，略微有些不同的是，objective参数在回归问题中取值为’reg:linear’，而在二分类问题中一般取值为’binary:logistic’，在多分类问题中一般取值为’multi:softmax’。不过当选择XGBoost回归模型时，该参数会自动切换，所以也无须手动调整。

二、LightGBM算法

LigthGBM算法是Boosting算法的新成员，由微软公司开发。它和XGBoost算法一样是对GBDT算法的高效实现，在原理上与GBDT算法和XGBoost算法类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。LightGBM算法的官方说明文档网址

  • 基于leaf-wise的决策树生长策略
    大部分决策树算法使用的生长策略是level-wise生长策略，即同一层的叶子节点每次都一起分裂，如下图所示。但实际上一些叶子节点的分裂增益较低，这样分裂会增加不小的开销。
    在这里插入图片描述
    LightGBM算法使用的则是leaf-wise生长策略，每次在当前叶子节点中找出分裂增益最大的叶子节点进行分裂，而不是所有节点都进行分裂，如下图所示，这样可以提高精度。但是，leaf-wise策略在样本量较小时容易造成过拟合，LightGBM算法可以通过参数max_depth限制树的深度来防止过拟合。
    在这里插入图片描述
  • 直方图算法
    直方图算法又称为histogram算法，简单来说，就是先对特征值进行装箱处理，将连续的浮点特征值离散化成k个整数，形成一个个箱体（bins），同时构造一个宽度为k的直方图，在遍历数据时，以离散化后的值作为索引在直方图中累积统计量（因此这里是频数直方图）。遍历一次数据后，直方图累积了需要的统计量，再根据直方图的离散值遍历寻找最优分割点。
    在这里插入图片描述
    对于连续特征来说，装箱处理就是特征工程中的离散化，例如，[0，10）区间的值都赋值为0，[10，20）区间的值都赋值为1等，这样就可以把众多的数值划分到有限的分箱中。LightGBM算法中默认的分箱数（bins）为256。
    举例来说，现在有10000个客户，也就有10000个身高数据，将身高分箱为256份后（例如，身高180～180.2cm的所有客户都分箱为数字200），就变为256个数字，这时再统计每个数值对应的频数（例如，身高180～180.2cm的客户为100人，那么数字200对应的频数就是100）。这样在节点分裂时，就不需要按照预排序算法对每个特征都计算10000遍（样本总数），而只需要计算256遍（分箱数），大大加快了训练速度。
    对于分类特征来说，则是将每一种取值放入一个分箱（bin），且当取值的个数大于最大分箱数时，会忽略那些很少出现的分类值。例如，10000个客户的国籍数据，便可以按国家名称进行分箱，如果超过最大分箱数（如256），那么很少出现的国家就会被忽略。
  • 并行学习
    LightGBM算法支持特征并行和数据并行两种学习方式。传统的特征并行的主要思想是在并行化决策树中寻找最佳切分点，在数据量大时难以加速，同时需要对切分结果进行通信整合。而LightGBM算法在本地保存全部数据，这样就没有了机器间通信所需的开销。此外，传统的数据并行是构建本地直方图，然后进行整合，在全局直方图中寻找最佳切分点。LightGBM算法则使用分散规约（reducescatter），将直方图合并的任务分给不同的机器，降低通信和计算的开销，并利用直方图做加速训练，进一步减少开销。

除了上述原理，LightGBM算法还包含一些重要的算法思想，如单边梯度采样GOSS算法（Gradient-based One-Side Sampling）和互斥特征绑定EFB算法（Exclusive Feature Bundling）。在GOSS算法中，梯度更大的样本点在计算信息增益时会发挥更重要的作用，当对样本进行下采样时保留这些梯度较大的样本点，并随机去掉梯度小的样本点。EFB算法则将互斥特征绑在一起以减少特征维度。

案例一：分类模型

# LightGBM分类模型
# **模型搭建**
# 1.读取数据
import pandas as pd
df = pd.read_excel('客户信息及违约表现.xlsx')
df.head()

# 2.提取特征变量和目标变量
X = df.drop(columns='是否违约')
Y = df['是否违约']

# 3.划分训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=123)

# 4.模型训练及搭建
from lightgbm import LGBMClassifier
model = LGBMClassifier()
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
print(y_pred)

a = pd.DataFrame()
a['预测值'] = list(y_pred)
a['实际值'] = list(y_test)
a.head()

from sklearn.metrics import accuracy_score
score = accuracy_score(y_pred, y_test)
print(score)

print(model.score(X_test, y_test))

y_pred_proba = model.predict_proba(X_test)

from sklearn.metrics import roc_curve
fpr, tpr, thres = roc_curve(y_test, y_pred_proba[:,1])
import matplotlib.pyplot as plt
plt.plot(fpr, tpr)
plt.show()

from sklearn.metrics import roc_auc_score
score = roc_auc_score(y_test, y_pred_proba[:,1])
print(score)

print(model.feature_importances_)

features = X.columns
importances = model.feature_importances_

importances_df = pd.DataFrame()
importances_df['特征名称'] = features
importances_df['特征重要性'] = importances
importances_df.sort_values('特征重要性', ascending=False)

# **模型参数调优**
from sklearn.model_selection import GridSearchCV
parameters = {'num_leaves': [10, 15, 31], 'n_estimators': [10, 20, 30], 'learning_rate': [0.05, 0.1, 0.2]}
model = LGBMClassifier()  # 构建分类器
grid_search = GridSearchCV(model, parameters, scoring='roc_auc', cv=5)

grid_search.fit(X_train, y_train)
print(grid_search.best_params_)

model = LGBMClassifier(num_leaves=15, n_estimators=20,learning_rate=0.1)
model.fit(X_train, y_train)

y_pred_proba = model.predict_proba(X_test)
from sklearn.metrics import roc_curve
fpr, tpr, thres = roc_curve(y_test, y_pred_proba[:,1])
import matplotlib.pyplot as plt
plt.plot(fpr, tpr)
plt.show()

y_pred_proba = model.predict_proba(X_test)
from sklearn.metrics import roc_auc_score
score = roc_auc_score(y_test, y_pred_proba[:, 1])
print(score)

案例二：预测模型

# LightGBM回归模型
# **模型搭建**
# 读取数据
import pandas as pd
df = pd.read_excel('广告收益数据.xlsx')
df.head()

# 1.提取特征变量和目标变量
X = df.drop(columns='收益') 
y = df['收益']  

# 2.划分训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123)

# 3. 模型训练和搭建
from lightgbm import LGBMRegressor
model = LGBMRegressor()
model.fit(X_train, y_train)

# **模型预测及评估**
y_pred = model.predict(X_test)
print(y_pred[0:5])

a = pd.DataFrame()
a['预测值'] = list(y_pred)
a['实际值'] = list(y_test)
a.head()

X = [[71, 11, 2]]
print(model.predict(X))

from sklearn.metrics import r2_score
r2 = r2_score(y_test, model.predict(X_test))
print(r2)

print(model.score(X_test, y_test))

print(model.feature_importances_)

# **模型参数调优**
from sklearn.model_selection import GridSearchCV
parameters = {'num_leaves': [15, 31, 62], 'n_estimators': [20, 30, 50, 70], 'learning_rate': [0.1, 0.2, 0.3, 0.4]}
model = LGBMRegressor()  # 构建模型
grid_search = GridSearchCV(model, parameters,scoring='r2',cv=5)

grid_search.fit(X_train, y_train)
print(grid_search.best_params_)

model = LGBMRegressor(num_leaves=31, n_estimators=50,learning_rate=0.3)
model.fit(X_train, y_train)

print(model.score(X_test, y_test))

LightGBM模型常见超参数在这里插入图片描述

在这里插入图片描述

星幻夜极
关注
专栏目录
XGBoost和LightGBM算法区别.docx
12-29
《XGBoost与LightGBM算法的比较及优化解析》 在机器学习领域，XGBoost和LightGBM是两种广泛使用的梯度增强决策树（GBDT）算法，它们都是针对GBDT的高效实现，但在原理和性能上存在显著差异。本文将深入探讨这两种...
XGBoost和LightGBM的比较
热门推荐
fly_Xiaoma的博客
04-02 3万+
目录 1.XGBoost sgboost中树节点分裂时所采用的公式： xgboost的分裂步骤： xgboost总结 LightGBM：基于决策树算法的分布式梯度提升框架 LightGBM在模型的训练速度和内存方面的优化 LightGBM的leaf-wise 的生长策略 LightGBM支持类别型特征 xgboost与LightGBM的区别 1.XGBoost XGBo...
XGboost和lightGBM算法对比
weixin_71158509的博客
02-13 3329
总的来说，XGBoost和LightGBM都是基于梯度提升树的机器学习算法，它们在性能上都有一定的优势，可以用于处理各种类型的机器学习问题。而LightGBM采用的是一种基于直方图（histogram）的方式，将数据划分为多个直方块，并对每个直方块进行划分，从而减少了划分时需要遍历的数据量，提高了效率。总的来说，XGBoost和LightGBM都是强大的机器学习算法，它们各自具有高性能、鲁棒性、泛化能力和高效性等不同的特点，可以根据具体的应用场景和需求来选择使用。
【机器学习】XGBoost和LightGBM时间序列预测对比
fengdu78的博客
07-12 177
XGBoost和LightGBM都是目前非常流行的基于决策树的机器学习模型，它们都有着高效的性能表现，但是在某些情况下，它们也有着不同的特点。XGBoost和LightGBM简单对比训练速度LightGBM相较于xgboost在训练速度方面有明显的优势。这是因为LightGBM使用了一些高效的算法和数据结构，比如直方图算法和基于梯度单边采样算法（GOSS），这些算法使得LightGBM在训练大规模...
Python机器学习15——XGboost和 LightGBM详细用法(交叉验证，网格搜参，变量筛选)
weixin_46277779的博客
07-17 1万+
XGboost，LightGBM，交叉验证，网格搜参，变量重要性和筛选，早停
【机器学习】深度剖析 LightGBM vs XGBOOST 哪个更胜一筹
fengdu78的博客
03-13 1万+
今天就 LightGBM 和 XGBOOST放在一起对比学习下，以便加深印象。写在前面作为一个机器学习研习者，大概会了解 Boosting Machines 及其功能。Boosting ...
树模型问题汇总
using namespace 数学工具构造器;
02-27 585
决策树 AdaBoost GBDT 问：为什么GBDT要拟合负梯度 Xgboost 问：Xgboost的损失函数是什么？ GBDT用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。 首先，在GBDT损失函数的基础上，Xgboost加入了正则化项，即对叶子数与叶节点权重的惩罚，即系数为gamma的叶子结点个数和系数为二分之lambda的L2正则项。 如果我们要极小化这个损失函数的话，需要求解J个叶子结点区域的最优解w，Xgboost的GBDT的一阶泰勒展开的基础上做二阶泰勒展开，经
Windows-python2、3-lightgbm和xgboost安装包（附安装教程）
08-05
在本文中，我们将深入探讨如何在Windows 10操作系统，64位环境下，使用Python 3.7.0和Anaconda 3安装`lightgbm`与`xgboost`这两个机器学习库。这两个库在数据科学和机器学习领域中广泛应用，特别是用于构建高效的...
lightgbm算法原理.pptx
05-14
LightGBM 算法原理 LightGBM 是一种高效的梯度升级框架，基于 Histogram 的决策树算法，具有高效的训练速度和低内存占用。下面是 LightGBM 算法原理的详细介绍： 1. LightGBM 前述 LightGBM 是一种基于 GBDT 的...
LightGBM算法优化及其原理概述
最新发布
09-22
内容概要：这篇文档深入阐述了LightGBM的机制，包括直方图切割算法、改善方法以及其它关键特点，比如直方图作差，增长策略等，并将其和 XGBoost 进行对比，证明了 LightGBM 在性能和效率方面有着独特的优势。...
Lightgbm和Xgboost对比范例
01-05
1. **训练速度**：LightGBM由于其并行化和直方图算法，通常比XGBoost更快，尤其是在处理大量特征时。 2. **内存效率**：LightGBM的直方图算法减少了内存需求，对内存有限的环境更友好。 3. **模型精度**：XGBoost在...
说一说xgboost和lightgbm的区别是什么
qq_39173848的博客
06-15 1507
前面提到了，LightGBM是Xgboost的更高效实现， 由微软发布。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。LightGBM相比于Xgboos
GBDT、XGBoost、LightGBM算法详解
酒酿小圆子呀～
05-23 1785
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
机器学习----XGBoost和lightGBM
__Miracle__
08-25 678
XGBoost XGBoost（Extreme Gradient Boosting）全名叫极端梯度提升树，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost。XGBoost在绝大多数的回归和分类问题上表现的十分顶尖 最优模型的构建方法 我们在前面已经知道，构建最优模型的一般方法是最小化训练数据的损失函数。 我们用字母 L表示损失，如下式 其中，F是假设空间假设空间是在已知属性和属性可能取值的情况下，对所有可能满足目标的情况的一种毫无遗漏的假设集合。式（1.1）
LightGBM 的优点（相较于XGBoost） + 细节操作 讲解 （一）
xiao_ling_yun的博客
04-02 1008
LightGBM相较于XGBoost的优势，以及各优势如何实现，实现的具体表现是什么。主要包含XGB的缺陷，LightGBM的优势，以及LightGBM中基于直方图的决策树最优分割点选取 + Leaf-wise叶子节点生成策略。
机器学习提升之xgboost算法、lightGBM算法
XST1520203418的博客
09-05 737
文章目录一、Xgboost算法（1）Xgboost算法原理（2）Xgboost算法API（3）xgboost举例：泰坦尼克号 一、Xgboost算法 Xgboost全名叫极端梯度提升树 （1）Xgboost算法原理 1.最优模型的构建方法 构建最优模型的一般方法就是最小化训练数据的损失函数 2.目标函数 3.CART树 4.树的复杂度 5.树的分裂（回归树构建方法） 6.Xgboost与GDBT的区别 （2）Xgboost算法API 1.参数介绍 1.1通用参数 1.2Booster参数
XGBoost和LightGBM时间序列预测对比
deephub
03-02 5249
xgboost 和 LightGBM 都是优秀的梯度提升框架，它们各自具有一些独特的优点和缺点，选择哪一种算法应该根据实际应用场景和数据集的特征来决定。如果数据集中缺失值较多，可以选择 xgboost。如果需要处理大规模数据集并追求更快的训练速度，可以选择 LightGBM。如果需要解释模型的特征重要性，xgboost 提供了更好的特征重要性评估方法，并且如果需要更加鲁棒的模型，可以优先选择xgboost。
Xgboost和lightgbm的区别
人工智能曾小健
10-25 3787
Xgboost, lightgbm, catboost实际上是对GBDT方法的不同实现，它们针对同一目标、做了不同的优化处理。 XGboost作为最早出现的库，优化做得稍微少一些，但总体而言，它们都对基础的GBDT方法做了不同的优化。 首先，它们在基础逻辑上并没有什么不同，我们限定max_trees或者max_iterations，之后算法从0棵树开始跑，每一轮根据上一轮的残差增加一棵决策树。在每一次增加决策树的时候，选择当前的最优结构。而在生成当前决策树的过程中，各个算法采用了不同的优化方案。 在生
【Python】 XGBoost vs LightGBM：两大梯度提升框架的对比
哈哈哈哈哈哈哈
05-26 1932
XGBoost：由Tianqi Chen等人开发，是一种基于梯度提升决策树（GBDT）的开源框架。XGBoost因其高效、准确和可扩展性而受到广泛欢迎。LightGBM：由微软开发，是另一种基于GBDT的框架。LightGBM以其快速训练速度和低内存占用著称，特别适用于大数据场景。XGBoost：适用于各种数据集，算法成熟稳定，参数调节细腻。LightGBM：在大规模数据和高维数据上表现更佳，训练速度更快，内存占用更低，适合需要快速迭代的大数据场景。选择合适的框架取决于具体的应用场景和数据特征。
XGBoost算法和LightGBM算法的基本原理
12-30
XGBoost算法和LightGBM算法都是基于梯度提升决策树（Gradient Boosting Decision Tree，简称GBDT）的机器学习算法，用于解决分类和回归问题。 XGBoost算法的基本原理如下： 1. GBDT的基本思想是通过迭代地训练多个弱学习器（决策树），每个弱学习器都试图拟合前面所有弱学习器的残差，最终将所有弱学习器的预测结果加权求和得到最终的预测结果。 2. XGBoost在GBDT的基础上进行了改进，引入了正则化项和二阶导数信息，以提高模型的泛化能力和减少过拟合的风险。 3. XGBoost使用了一种特殊的损失函数，即梯度提升算法的损失函数加上正则化项，通过最小化损失函数来优化模型的参数。 4. XGBoost还使用了一种特殊的分裂节点选择算法，即贪心算法，通过遍历所有可能的分裂点来选择最优的分裂点。 LightGBM算法的基本原理如下： 1. LightGBM也是基于GBDT的算法，但与XGBoost相比，它采用了一种不同的决策树构建方法，即基于直方图的决策树算法。 2. LightGBM首先将数据集按照特征值进行离散化，然后构建直方图来表示每个特征的分布情况。 3. 在训练过程中，LightGBM通过遍历直方图的方式来选择最优的分裂点，从而减少了计算量。 4. LightGBM还引入了一种特殊的学习策略，即按照叶子节点的数据分布情况进行学习，从而提高了模型的准确性和泛化能力。 总结起来，XGBoost和LightGBM都是基于GBDT的机器学习算法，它们在决策树构建方法和优化策略上有所不同，但都能够有效地解决分类和回归问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值