【进阶版】 机器学习分类算法之XGBoost（集成学习算法）、LightGBM（梯度提升框架）（13）

机器学习进阶：XGBoost与LightGBM实战解析
最新推荐文章于 2025-12-11 05:14:39 发布
最新推荐文章于 2025-12-11 05:14:39 发布
阅读量1.5k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 《50篇》机器学习之Python开源教程 文章标签： 机器学习 算法 分类 XGBoost lightGBM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47723732/article/details/126475557
本专栏详细介绍了机器学习分类算法，包括XGBoost和LightGBM。通过原理讲解与代码实战，帮助读者理解集成学习算法的运用，适合毕业设计和科研项目的参考。涉及内容包括数据预处理、特征工程、模型评估等多个方面，旨在提升读者的机器学习能力。

目录

欢迎订阅本专栏，持续更新中~

本专栏包含大量代码项目，适用于毕业设计方向选取和实现、科研项目代码指导，每一篇文章都是通过原理讲解+代码实战进行思路构建的，如果有需要这方面的指导可以私信博主，获取相关资源及指导！

本专栏前期文章介绍！

机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战

机器学习之Python开源教程——专栏介绍及理论知识概述
机器学习框架及评估指标详解
Python监督学习之分类算法的概述
数据预处理之数据清理，数据集成，数据规约，数据变化和离散化

了解本专栏 订阅专栏 解锁全文
机器学习分类算法之XGBoost（集成学习算法）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-14 10万+
目录 走进XGBoost 什么是XGBoost？ XGBoost树的定义 XGBoost核心算法 正则项：树的复杂程度 XGBoost与GBDT有什么不同 XGBoost需要注意的点 XGBoost重要参数详解 调参步骤及思想 XGBoost代码案例 相关性分析 n_estimators（学习曲线） max_depth（学习曲线） 调整max_depth 和min_child_weight 调整gamma 调整subsample 和colsample_bytree 调整正则
机器学习算法（15）之Xgboost算法
热门推荐
不曾走远的博客
09-11 5万+
前言：前一篇文章对boosting的两个方法做了阐述，这篇文章将会是对前两篇文章的深化，谈的是一个更加优化了的boostIng算法，自从2014年9月份在 Kaggle 的希格斯玻色子机器学习大赛中夺魁以来，XGBoost 与深度学习两个算法垄断了 Kaggle 大赛的大部分冠军。现在Kaggle 大赛的情况基本是这样的，凡是非结构化数据相关，比如语音、图像，基本都是深度学习获胜，凡是结构化数据上...
Boosting三巨头：XGBoost、LightGBM和CatBoost（发展、原理、区别和联系，附代码和案例）
WeLearnNLP
03-09 8648
机器学习中，提高模型精度是研究的重点之一，而模型融合技术中，Boosting算法是一种常用的方法。在Boosting算法中，XGBoost、LightGBM和CatBoost是三个最为流行的框架。它们在实际使用中有各自的优势和适用场景，下面将会介绍它们的区别与联系。
【集成学习】11 XGBoost 算法分析与案例调参
apple_50678962的博客
04-26 291
XGBoost – 陈天奇等人开发的一个开源ML项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛 & 其他许多ML竞赛中取得了不错的成绩。 XGBoost本质还是一个GBDT，但是力争把速度和效率发挥到了极致，所以叫X(Extreme)GBoosted。 XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便捷。 它在Gradient Boosting框架下实现ML。 XGBoost提供了并行树提升（也称GBDT，GBM），可以快速准确地解决许多
【史诗级干货长文】集成学习进阶（XGBoost & lightGBM）
风口IT猪的成长录
07-26 979
集成学习进阶1. xgboost算法原理1.1 最优模型的构建方法1.2 XGBoost的目标函数推导1.2.1 目标函数确定1.2.2 CART树的介绍1.2.3 树的复杂度定义1.2.3.1 定义每课树的复杂度1.2.3.2 树的复杂度举例1.2.4 目标函数推导1.3 XGBoost的回归树构建方法1.3.1 计算分裂节点1.3.2 停⽌分裂条件判断1.4 XGBoost与GDBT的区别2. xgboost算法api介绍2.1 xgboost的安装2.2 xgboost参数介绍2.2.1 通⽤参数（g
机器学习之XGboost
weixin_36488653的博客
08-01 1054
文章目录1. 基本概念2. XGboost实战2.1 梯度提升树2.1.1 重要参数：n_estimators2.1.2 重要参数：subsample2.1.3 重要参数：eta2.2 XGBoost进阶2.2.1 选择弱评估器：重要参数booster2.2.2 目标函数：重要参数objective 1. 基本概念 TO DO… 2. XGboost实战 基本库的安装与出参数详情 xgbbost库的安装： # windows pip install xgboost pip install --upgrad
机器学习 | Xgboost代码框架
RichardsZ_的博客
05-04 1576
Xgboost 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录Xgboost模型格式DMatrix数据格式DataFrame数据格式参数设置 模型格式 Xgboost对于输入数据的分类，可分为两类： DMatrix DataFrame DMatrix数据格式 DMatrix数据主要由以下数据源转化： libsvm转化 csv文件读取为Data
第十一章：XGBoost （1）直接调用xgb的库
weixin_44953928的博客
03-26 3606
一、直接调用xgb的库 导入数据 from sklearn.datasets import load_boston from sklearn.model_selection import KFold,cross_val_score as CVS,train_test_split as TTS from sklearn.metrics import mean_squared_error as MSE import numpy as np import matplotlib.pyplot as plt impo
机器学习分类算法之LightGBM（梯度提升框架）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-17 4762
目录 走进LightGBM 什么是LightGBM？ XGBoost的缺点 LightGBM的优化 LightGBM的基本原理 Histogram 算法 直方图加速　 LightGBM并行优化 代码实践 参数详解 ​ 代码实操 最优模型及参数（数据集1000） 模型调参 每文一语 走进LightGBM 什么是LightGBM？ 在上一篇的文章里，我介绍了XGBoost算法，它是是很多的比赛的大杀器，但是在使用过程中，其训练耗时很长，内存占用比较大。 在2017年年..
机器学习算法实战系列：集成学习王者XGBoost与LightGBM原理与实战
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
04-25 1628
顺序训练一系列弱学习器每个新模型都专注于纠正前一个模型的错误组合所有弱学习器形成强学习器AdaBoost算法回顾增加被错误分类样本的权重最终预测是加权投票“掌握XGBoost和LightGBM，你就能解决工业界90%的结构化数据问题！现在你已拥有这些冠军算法的完整知识体系。参加Kaggle比赛实践所学知识深入研究算法源代码实现尝试在不同业务场景中应用在下一篇文章中，我们将探索无监督学习的奥秘，从聚类到降维，揭示数据背后的隐藏模式！敬请期待！延伸阅读XGBoost官方文档。
LightGBM（LGB）、随机森林（RF）和XGBoost是机器学习中三种主流的集成学习算法的差异
xuukai的博客
04-07 2653
​​需求场景​​​​推荐算法​​​​原因​​高维数据+快速原型开发随机森林（RF）特征重要性分析、抗噪声能力强高精度预测+复杂正则化XGBoost二阶优化+正则化，适合结构化数据超大规模数据+实时预测LightGBM直方图算法+叶子优先，内存和速度最优需要解释性+小数据集随机森林（RF）特征重要性直观，过拟合风险低三者均属于决策树集成方法，但通过不同的优化策略适应多样化需求。理解其核心差异和联系，可帮助根据具体场景选择最合适的模型。
XGBoost算法介绍及代码实现
weixin_44822403的博客
03-08 3006
XGBoost算法介绍以及代码实现
【机器学习】集成学习（Boosting）——XGBoost算法（理论+图解+公式推导）
CSDN 精品推荐
08-28 1万+
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、引言二、XGBoost算法1.xgboost算法原理2.构造目标函数3.泰勒级数近似目标函数4.将树结构引入目标函数4.1 表示第k棵树的预测值4.2 表示树的模型复杂度4.3 参数化目标函数5.贪心算法构建最优树 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、引言 XGBoost是陈天奇等人开发的一个开源机器学习项目，.
XGBoost——xgboost算法
Harrytsz的博客
05-15 1334
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 安装 xgboost目前还不能pip在线安装，所以先在网址https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 中下载whl文件，然后参考https://blog.csdn.net/luanpeng825485697/article/details/77816740 进行离线安装...
XGboost参数调优完整指南及预测分析（附完整代码）
JJJAY
04-06 1万+
XGBoost 的模型建立将主要依靠陈天奇的 XGBoost 类库，参数的调优主要基于 python sklearn 类库的网格搜索方法选择最优的超参数。 导入所需要的库 from xgboost import XGBRegressor as XGBR from sklearn.model_selection import KFold, cross_val_score as CVS, train_test_split as TTS import matplotlib.pyplot as plt fro
决策树&随机森林&GBDT&XGBoost学习笔记以及代码实现
weixin_45928096的博客
05-18 2901
XGBoost是GBDT的优秀版本，是一种基于决策树的集成机器学习算法，使用梯度上升框架，适用于分类和回归问题。 XGBoost的整体结构与GBDT一致，都是在训练出一棵树的基础上，再训练下一棵树，预测它与真实分布间的差距，通过不断训练用来弥补差距的树，最终使用树的组合实现对称式分布。
XGBoost解析系列--源码主流程
cyber的博客
12-03 1万+
前言 入口过程 Train过程 1 Train主框架 2 UpdateOneIter流程 21 LazyInitDMatrix过程 22 PredictRaw过程 23 obj_-GetGradient过程 24 gbm_-DoBoost过程 241 分裂过程 242 剪枝过程0.前言  本文介绍XGBoost的源代码流程，先梳理源码主干流程，方便读者理解，结合函数名进行说明具体逻辑与功能。如果读者
集成学习：lightGBM（一）
あずにゃん梓喵的博客
08-08 2007
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 5.5 lightGBM 1 写在介绍lightGBM之前 1.1 lightGBM演进过程 1.2 AdaBoost算法 AdaBoost是一种提升树的方法，和三个臭皮匠，赛过诸葛亮的道理一样。 AdaBoost两个问题： (1) 如何改变...
肝硬化患者肝功能分级临床预测模型：基于机器学习的多变量分析
最新发布
huanghm88的专栏
12-11 183
摘要 本研究基于128例肝硬化患者的34项临床指标，采用机器学习方法构建肝功能分级预测模型。通过XGBoost、随机森林等多种算法比较，发现XGBoost模型表现最优，预测准确率达86.5%，AUC值0.89。研究确定了总胆红素、白蛋白等10个关键预测因子，为临床肝功能评估提供了新的辅助工具。该模型整合了多维临床数据，较传统Child-Pugh评分更具综合性，有助于优化肝硬化患者的个体化诊疗决策。未来需扩大样本量进行多中心验证，进一步完善模型性能。 关键词：肝硬化；肝功能分级；机器学习；预测模型；XGBoo
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王小王-123

您觉得舒心就点一点吧~~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值