一个必会算法模型，XGBoost ！！

已于 2024-09-27 18:20:59 修改
阅读量1k 收藏 14
点赞数 21
分类专栏： AI 文章标签： 算法 机器学习 人工智能
于 2024-09-26 11:38:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feeltouch/article/details/142546684
版权

大家好，今天咱们来聊聊XGBoost ~

XGBoost（Extreme Gradient Boosting）是一种集成学习算法，是梯度提升树的一种改进。它通过结合多个弱学习器（通常是决策树）来构建一个强大的集成模型。

XGBoost 的核心原理涉及到损失函数的优化和树模型的构建。

核心原理

1. 损失函数（Loss Function）：

假设我们有一个由  个样本组成的训练数据集，，其中  是特征向量， 是对应的标签。

XGBoost 使用泰勒展开式对损失函数进行近似。对于一般的损失函数 ，泰勒展开式可以写作：

其中， 是当前模型的预测值， 和  分别是损失函数关于预测值的一阶导数（梯度）和二阶导数（海森矩阵）。这里的  表示第  个样本。

2. 正则化项（Regularization Term）：

为了防止过拟合，XGBoost 引入了正则化项。正则化项包含了树模型的复杂度，可以写作：

其中， 是叶子节点的数量， 是叶子节点的分数， 和  是正则化参数。

3. 目标函数（Objective Function）：

XGBoost 的目标函数是损失函数和正则化项的加权和。假设我们有  个树模型，每个树模型表示为 ，目标函数可以写作：

4. 模型更新（Model Update）：

XGBoost 采用贪婪算法逐步构建树模型。每一步迭代，都会学习一个新的树模型，以减小目标函数。模型更新分为两个步骤：叶子节点分裂（Leaf Split）和叶子节点权重（Leaf Weight）的更新。

对于叶子节点 ，其分数  可以通过以下公式计算：

其中， 是叶子节点  上所有样本的一阶梯度之和， 是叶子节点  上所有样本的二阶梯度之和。而且，当叶子节点的分数确定后，可以使用优化算法（如近似贪婪算法）来选择最佳的分裂点。

5. 预测（Prediction）：

最终模型的预测结果可以通过将所有树的输出值相加来获得：

这里的  表示第  个树对样本  的预测输出。

综上所述，XGBoost 通过优化目标函数，迭代地构建树模型，并通过贪婪算法对树的结构进行优化，从而得到强大的集成模型。

特点和适用场景

XGBoost作为一种高效的集成学习算法，这里给大家总结7个显著的特点：

1. 高效的并行化处理：

  • XGBoost 能够有效地利用多核处理器进行并行计算，加速模型训练过程。

  • 它采用了一种分布式计算框架，使得在大规模数据集上的训练也能够快速完成。

2. 高度优化的损失函数：

  • XGBoost 使用了泰勒展开式对损失函数进行近似，这样做能够更好地理解数据，从而更快地收敛到最优解。

  • 通过一阶和二阶导数信息，XGBoost 能够更加精确地估计每个样本的损失。

3. 正则化和剪枝：

  • XGBoost 通过正则化项来控制模型的复杂度，防止过拟合。

  • 它采用了剪枝技术来减小树的规模，降低模型的复杂度，提高泛化能力。

4. 可扩展性和灵活性：

  • XGBoost 可以与多种编程语言和数据处理框架（如Python、R、Spark）无缝集成。

  • 它支持自定义损失函数和评估指标，可以适应各种不同的任务和需求。

5. 特征重要性评估：

  • XGBoost 提供了一种直观的方法来评估特征的重要性，可以帮助用户进行特征选择和模型解释。

6. 处理缺失值：

  • XGBoost 能够自动处理缺失值，不需要对缺失值进行额外的处理或填充。

7. 支持多种目标函数：

  • XGBoost 支持分类、回归、排序等多种类型的任务，可以灵活应对不同的问题。

XGBoost 最能解决的问题包括但不限于：

  • 分类问题：XGBoost 在处理分类问题时表现优异，能够有效地处理高维度特征和大规模数据集。

  • 回归问题：对于回归问题，XGBoost 能够提供精确的预测和较小的泛化误差。

  • 排序问题：在搜索引擎、推荐系统等需要排序的场景中，XGBoost 能够学习到有效的排序模型。

  • 异常检测：XGBoost 可以通过学习异常模式来进行异常检测，适用于金融欺诈检测、工业生产中的异常监测等场景。

  • 特征工程：XGBoost 能够自动处理缺失值和异常值，减少了特征工程的工作量。

  • 模型解释：XGBoost 提供了直观的特征重要性评估，可以帮助解释模型的预测结果。

完整案例

下面，是一个使用XGBoost算法进行二分类的完整案例，包括数据集、Python代码和结果可视化。我们使用鸢尾花数据集作为示例数据集，该数据集包含四个特征和三个类别。

案例流程

  1. 数据加载与预处理。

  2. 特征工程与数据分割。

  3. 使用XGBoost进行模型训练。

  4. 模型评估与可视化。

数据集

我们将使用鸢尾花数据集，该数据集包含150个样本，每个样本有四个特征：花萼长度、花萼宽度、花瓣长度和花瓣宽度，以及一个目标变量，代表鸢尾花的类别（Setosa、Versicolor和Virginica）。

代码
import numpy as np
import pandas as pd
import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix
import matplotlib
matplotlib.use('TkAgg')
import matplotlib.pyplot as plt
import seaborn as sns
from mpl_toolkits.mplot3d import Axes3D


if __name__ == '__main__':
    # 加载鸢尾花数据集
    iris = load_iris()
    X = iris.data
    y = iris.target

    # 数据分割
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    # 设置XGBoost参数
    param = {'max_depth': 3, 'eta': 0.3, 'objective': 'multi:softmax', 'num_class': 3}
    num_round = 20

    # 训练模型
    dtrain = xgb.core.DMatrix(X_train, label=y_train)
    dtest = xgb.core.DMatrix(X_test, label=y_test)
    bst = xgb.train(param, dtrain, num_round)

    # 在测试集上进行预测
    y_pred = bst.predict(dtest)

    # 计算准确率
    accuracy = accuracy_score(y_test, y_pred)
    print("Accuracy:", accuracy)

    # 绘制混淆矩阵
    labels = ['Setosa', 'Versicolor', 'Virginica']
    cm = confusion_matrix(y_test, y_pred)
    plt.figure(figsize=(10, 8))
    sns.heatmap(cm, annot=True, fmt='d', cmap='coolwarm', xticklabels=labels, yticklabels=labels)
    plt.xlabel('Predicted')
    plt.ylabel('True')
    plt.title('Confusion Matrix')
    plt.show()

    # 3D 可视化
    fig = plt.figure(figsize=(12, 10))
    ax = fig.add_subplot(111, projection='3d')

    colors = ['r', 'g', 'b']
    for i in range(3):
        ax.scatter(X_test[y_test == i, 0], X_test[y_test == i, 1], X_test[y_test == i, 2], c=colors[i], label=labels[i])

    ax.set_xlabel('Sepal Length')
    ax.set_ylabel('Sepal Width')
    ax.set_zlabel('Petal Length')
    ax.set_title('Iris Data 3D Visualization')

    plt.legend()
    plt.show()

在实际应用中，可以调整XGBoost的参数以获得更好的性能，例如使用交叉验证来选择最佳的参数组合。

其中，

scikit-learn==1.5.2
matplotlib==3.9.0
seaborn==0.13.2
xgboost==2.1.1

绘制混淆矩阵

图片

可视化

图片

最后

XGBoost是一种集成学习算法，基于决策树构建强大的预测模型。它通过迭代训练多个决策树模型，利用梯度提升技术不断优化模型性能。XGBoost在各种数据集上都表现出色，并且被广泛应用于分类和回归问题。

【机器学习】必会框架之：XGBoost
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-23 2423
机器学习必会之XGBoost
R语言机器学习算法实战系列（一）XGBoost算法分类器+SHAP值（eXtreme Gradient Boosting）
专注生信领域
09-13 2142
R语言机器学习算法实战系列（一）：XGBoost算法（eXtreme Gradient Boosting）
【数据分析案例】从XGBoost算法开始，更好地理解和改进你的模型
数据产品笔记
06-28 2425
案例来源：@将门创投案例地址：https://mp.weixin.qq.com/s/oeetxWMM3cr1BgvIaGU54A1. 目标：使用xgb评估客户的信贷风险时，还希望得出揭示2. xgb全局特征重要性度量1）weight：根据特征用于划分的次数2）cover：根据特征用于划分的次数和每次划分的样本数加权计算得来3）gain：特征用于划分时所带来的训练损失减益的平均值3. 评价特征度量的...
机器学习：XGBoost模型（升级版）——高效且强大的树形模型
weixin_74268817的博客
11-12 3463
介绍一个现实生活中常用的、强大的XGBoost模型。文章涉及XGBoost的基本原理、实现步骤、优缺点、应用场景，方便大家一起学习。文章如有错误，欢迎大噶指正！
XGBoost的改进----Lightgbm
Rudy95的博客
08-23 4249
Lightgbm改进的点： 基于Histogram的决策树算法 带深度限制的Leaf-wise的叶子生长策略 直方图做差加速 直接支持类别特征(Categorical Feature) Cache命中率优化 基于直方图的稀疏特征优化 多线程优化 下面主要介绍Histogram（直方图）做差加速、带深度限制的Leaf-wise的叶子生长策略。 基于histogram的决策树算法 直方图算法的基本思...
如何对xgboost模型进行优化
重剑无锋博客
06-29 2745
ok
通过学习曲线调整XGBoost性能
Together_CZ的博客
03-30 3391
【翻译自 ： Tune XGBoost Performance With Learning Curves】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 XGBoost是梯度提升集成算法的强大而有效的实现。配置XGBoost模型的超参数可能具有挑战性，这通常会导致使用既费时又计算量大的大型网格搜索实验。配置XGBoost模型的另一种方法是在训练...
predict_future_sales-xgboost回归预测模型
最新发布
01-25
机器学习模型在这一领域扮演了关键角色，而XGBoost作为一个强大的集成学习算法，因其出色的性能和广泛的应用而备受关注。XGBoost不仅具备处理大规模数据集的能力，而且在各种数据挖掘竞赛中屡获佳绩，特别是在回归...
机器学习面试必会算法集合
05-14
在机器学习领域，面试时经常会遇到一系列核心算法的考察，这些算法是理解并应用机器学习技术的基础。以下是对标题和描述中提及的一些关键算法的详细解释： 1. **XGBoost调参**：XGBoost是一款高效、灵活且可扩展的...
『大模型笔记』2024大模型AI工程师必备技能！
AI新视界
07-04 435
文章首先介绍了大语言模型（LLM）的基本概念，并提出了一个五层结构的框架来帮助理解 LLM 在不同应用中的使用方式。第一层是问答引擎（Q&A），即用户向 LLM 提问并获得答案。第二层是聊天机器人，它在 Q&A 的基础上增加了短期记忆，能够进行连续的对话交互。第三层是检索增强生成（RAG），它除了拥有 Q&A 和短期记忆外，还能够利用外部知识进行信息检索和生成回答。第四层是智能体（Agent），它将 LLM 与各种工具集成，能够执行具体的任务和操作。文章还讨论了函数调用（Function Calling）。
sklearn_xgb:用于 xgboost 的改进的 scikit-learn 界面
06-02
改进的 XGBoost 类似 scikit-learn 的界面 关于 scikit-learn 是 Python 的机器学习库。 XGBoost 是一个新的有用的梯度提升库，它提供了一个定制的 Python 界面以及一个简化的 scikit-learn-like 界面。 这个 repo 包含一个稍微改进和定制的 XGBoost 类似 scikit-learn 的界面，主要基于官方代码，并进行了一些小的修改。 安装 安装 scikit-learn 和 xgboost，下载这个 repo 并将其放入你的项目中。 执照 此 repo 中的代码遵循 Apache 许可证版本 2.0。 scikit-learn 遵循新的 BSD 许可证。 XGBoost 遵循 Apache 许可版本 2.0。 参考 [1] Scikit-learn：Python 中的机器学习，Pedregosa 等人，JM
梯度提升决策树GBDT及其优秀改进XGBoost的浅析
八门金锁的技术博客
12-18 1586
梯度提升决策树 英文是Gradient Boosting Decision Tree (GBDT)。是一种迭代的决策树算法，由多棵决策树组成，将所有树的结论累加起来做最终答案。值得注意的是，GBDT中的树都是回归树，不是分类树。GBDT主要用于回归问题（包括线性和非线性），但也可以用于分类问题。 我们在已经搞清楚决策树(DT)部分的前提下，可以简单看看梯度迭代(GB)。GB核心的思想就是每一棵树都在学习之前所有树结论和的残差。 输入 训练集数据D={(xi,yi)}i=1ND = \{(x_i,y_i)\}
xgboost优化方法总结
weixin_37136725的博客
02-10 2211
一、论文中的优化方法二、工具包中的优化参数
【模型】XGBoost
藓类少女的博客
08-15 1025
XGBoost 基于梯度提升框架，它通过逐步构建一系列弱学习器（通常是决策树），每一个新的学习器都试图纠正前一个学习器的错误。: 传统的 GBDT 在生成树时是串行的，而 XGBoost 可以通过并行计算优化树结构的部分操作，从而显著提高训练速度。: XGBoost 的正则化机制和内置的处理缺失值能力，使得它在复杂的、噪声较多的数据集上也能表现良好。: 在预测阶段，XGBoost 使用每棵树的输出通过加权投票来做最终预测，从而提升模型的准确性。增加这个值可以提高模型的复杂度，但也增加了过拟合的风险。
【机器学习】XGBoost学习笔记
qq_32742009的博客
08-02 2018
推荐博文 https://blog.csdn.net/sb19931201/article/details/52557382 https://www.jianshu.com/p/7467e616f227 xgb讲起来还有点复杂，刚开始看算法的时候也是一愣一愣的。白话讲一讲吧。 先确定一个概念，xgboost是什么？就是一堆二叉树，准确来讲是CART树，和GBDT一样，在GBDT中，无论是分...
【机器学习】突破最强算法模型，XGBoost！！
fengdu78的博客
09-13 214
简单来说，XGBoost 是一种非常非常强大的机器学习算法，全称叫做Extreme Gradient Boosting，它是提升树（Boosting Trees）的一种实现。下面我们用一个生活中的简单例子来帮助理解。假设你是一个班级的班主任，你要根据学生的学习情况预测他们期末考试的成绩。你不想靠自己的直觉，所以你决定让一群老师帮你。第一步：请一个老师来打分你请来了第一位数学老师。数学老师根据学生...
模型优化_XGBOOST学习曲线及改进，泛化误差
惊鸿一博
02-29 989
n_estimators的极限已达到，我们才考虑其他参数，但XGB中的状况明显更加复杂，当数据集不太寻常的时候会更加。了，即便只有很少的数据， 模型也能够学到训练数据100%的信息，所以XGB也是天生过拟合的模型。首先，XGB中的树的数量决定了模型的学习能力，树的数量越多，模型的学习能力越强。第二，XGB中树的数量很少的时候，对模型的影响较大，当树的数量已经很多的时候，对模型的影响比较小，只能有。第三，树的数量提升对模型的影响有极限，最开始，模型的表现会随着XGB的树的数量一起提升，但到达某个点之。
XGBOOST学习曲线及改进，泛化误差
weixin_45271076的博客
05-26 2843
from xgboost import XGBRegressor as XGBR from sklearn.ensemble import RandomForestRegressor as RFR from sklearn.linear_model import LinearRegression as LR from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split,cross_v
麻雀算法优化XGBoost用于故障数据分类
JizhPhp的博客
09-21 105
故障数据分类是一种重要的任务，它可以帮助我们识别和预测设备或系统中可能出现的故障。麻雀算法是一种基于群体智能的优化算法，它模拟了麻雀在觅食过程中的行为，具有全局搜索和局部优化的能力。以上是基于麻雀算法优化的XGBoost故障数据分类的详细步骤和MATLAB源代码实现。本文将介绍如何使用MATLAB实现基于麻雀算法优化的XGBoost故障数据分类，并提供相应的源代码。使用最佳个体对故障数据进行分类。根据麻雀算法的探索和利用行为，选择适应度较高的个体进行保留，并根据麻雀算法的规则生成新的个体，以更新当前种群。
xgboost算法优缺点
10-21
XGBoost算法的优点包括： 1. 高效性：XGBoost是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。 2. 可扩展性：XGBoost的分布式版本有广泛的可移植性，支持在Kubernetes、Hadoop、SGE、MPI、Dask等各个分布式环境上运行，使得它可以很好地解决工业界大规模数据的问题。 3. 准确性：XGBoost在数据科学方面表现出色，有大量的Kaggle选手选用XGBoost进行数据挖掘比赛，是各大数据科学比赛的必杀武器。 4. 可解释性：XGBoost可以输出特征重要性，帮助我们理解模型的预测结果。 XGBoost算法的缺点包括： 1. 对异常值敏感：XGBoost对异常值比较敏感，需要进行特殊处理。 2. 参数调整困难：XGBoost有很多参数需要调整，需要一定的经验和技巧。 3. 计算资源要求高：XGBoost需要大量的计算资源，对于小数据集可能会出现过拟合的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FeelTouch Labs

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值