集成学习：XGBoost, lightGBM

已于 2022-02-23 17:11:44 修改
阅读量1.1k 收藏 1
点赞数
文章标签： 决策树 机器学习
于 2022-02-23 11:11:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44953928/article/details/123082776
版权

文章目录

一、决策树

1.决策树的直观理解

在这里插入图片描述

2、分类树

2.1 信息熵

(出现的不同结果越多，不确定性就越高，熵就也越高）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2基尼指数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 回归树

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、集成学习

1.集成学习简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.随机森林

2.1 随机森林

在这里插入图片描述
在这里插入图片描述

2.2 随机森林实践

在这里插入图片描述

3、AdaBoost的理解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
暂时跳过

4.GBDT

4.1BDT（提升树）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2GBDT（梯度提升树）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、XGBoost

在这里插入图片描述

5.1 模型形式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 目标函数

在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

5.3 学习策略（树结构的确定）

在这里插入图片描述
在这里插入图片描述

5.4 系统设计

5.5实践

6、lightGBM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.1 直方图算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.2 直方图算法的改进

6.3树的生长策略

6.4系统设计

6.5 实践

xiao52x
关注
机器学习算法解析:XGBoost与LightGBM
程序员光剑
07-01 402
机器学习算法解析:XGBoost与LightGBM 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：XGBoost, LightGBM, 高效特征选择, 并行化训练, 自动调参, 弱分类器集成
GBDT与XGBoost与LightGBM
weixin_49717022的博客
07-20 742
1. XGBoost与GBDT的区别 GBDT: 它是一种基于boosting增强策略的加法模型，训练的时候采用前向贪心算法进行学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值之间的残差。 XGBoost: 在GBDT基础上进行了一系列优化，比如损失函数采用了二阶泰勒展式、目标函数加入正则项、支持并行和缺失值自动处理等，但二者在核心思想上没有大的变化。 相同点： 生成树的核心思想及方法相同。 不同点： 1.基分类器：XGBoost的基分类器不仅支持CART决策树，还
集成学习专题——xgboost&LightGBM
Jack___E的博客
06-18 440
XGBoost算法 XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted， 包括前面说过，两者都是boosting方法。XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。 它在Gradient Boosting框架下实现机器学习算法。 XGBoo
XGBoost详解（原理篇）
热门推荐
tt丫的博客
03-15 4万+
XGBoost全称为eXtreme Gradient Boosting，即极致梯度提升树。XGBoost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器（个体学习器间存在强依赖关系，必须串行生成的序列化方法）。Note：关于Boosting算法详见博文集成学习详解_tt丫的博客-CSDN博客XGBoost是一种提升树模型，即它将许多树模型集成在一起，形成一个很强的分类器。其中所用到的树模型则是CART回归树模型。
JAVA训练XGBOOST
儒雅，勤思，博学
01-02 4298
2020年开篇，但是好像没啥特别的，参加个公司年会，时间就这么过去了，就这么迎来了2020年。当然，我们国家传统是过了春节才算是新年，所以原则上2020年还没来到，但是日历上已经变了，现在2020年1月1日，觉得还是要随便写点什么，记录点什么吧。 一直用python去训练模型，考虑用点不一样的技术，用java去训练一个模型吧，这样也方便和java微服务以及大数据集成在...
利用xgboost4j下的xgboost分类模型案例
lusic01的专栏
02-14 991
package spark.xgb.test import ml.dmlc.xgboost4j.scala.Booster import ml.dmlc.xgboost4j.scala.spark.XGBoost import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * Created ...
初次尝试xgboost，先跑通
南七小僧的学海无涯
10-31 419
 
【进阶】高级机器学习算法：XGBoost与LightGBM
[【进阶】高级机器学习算法：XGBoost与LightGBM](https://img-blog.csdnimg.cn/img_convert/3020bb36dcc1c9733cb11515e2871362.png) # 1. 机器学习算法概述** 机器学习算法是人工智能领域的核心技术，它赋予计算机...
XGboost Lightgbm 参数1
08-08
XGBoost和LightGBM是两种广泛使用的梯度提升框架，尤其在机器学习竞赛和生产环境中备受青睐。它们都提供了一种高效的并行处理能力，这使得在大数据集上训练模型变得快速且实用。 首先，我们要理解的是XGBoost如何...
机器学习：基于LightGBM的分类实践
Morganfs的博客
05-01 1933
学习时间：2022.04.30~2022.05.1 文章目录机器学习：基于LightGBM的分类实践1. LightGBM简介2. LightGBM实践2.1 数据处理2.2 参数设置2.3 验证集评估 机器学习：基于LightGBM的分类实践 尝试了一下招行的FinTech比赛，然后说是用LightGBM（lgb）的效果很好，所以临时来突击学习一下。 1. LightGBM简介 LightGBM是轻量级（Light）的梯度提升机器（GBM）,是GBDT模型的另一个进化版本。它延续了XGBoost的那一.
竞赛常用集成学习框架Boosting算法总结(XGBoost、LightGBM)(附代码)
wonner_的博客
12-11 2782
Boosting类算法简介 Boosting是一类可将弱学习器提升为强学习器的算法，这类算法的工作机制如下：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；重复进行这一操作，最终将各个基学习器得到的结果加权结合。常见的Boosting算法包括GBDT、XGBoost和Li...
集成学习（中）XGBoost算法
yutc0202的博客
04-26 292
XGBoost算法 XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted XGBoost是一个优化的分布式梯度增强库，提供了并行树提升（也称为GBDT，GBM），可使用分布式环境（Hadoop，SGE，MPI）运行；以CART决策树为子模型，通过Gradient Tree Boosting实现多棵CART树的集成学习，得到最终模型 XGBoost算法 (1) 构造目标函数： L(ϕ)=∑il(y^i,yi)+∑kΩ(fk) \mat
集成学习：lightGBM（一）
あずにゃん梓喵的博客
08-08 1563
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 5.5 lightGBM 1 写在介绍lightGBM之前 1.1 lightGBM演进过程 1.2 AdaBoost算法 AdaBoost是一种提升树的方法，和三个臭皮匠，赛过诸葛亮的道理一样。 AdaBoost两个问题： (1) 如何改变...
机器学习 集成学习各算法-gbdt，xgboost，lightgbm比较及优缺点特征总结
a1272899331的博客
03-07 1万+
随机森林 优点 具有极高的准确率 随机性的引入，使得随机森林不容易过拟合，有很好的抗噪声能力，对异常点离群点不敏感 能处理很高维度的数据，并且不用做特征选择 既能处理离散型数据，也能处理连续型数据，数据集无需规范化（归一化） 实现简单，训练速度快，可以得到变量重要性排序（计算每个特征在分裂时被选到的次数或者某个特征不纯度平均下降了多少） 容易实现并行化 在创建随机森林的时候，对gen...
GBDT,XGboost,Lightgbm,Catboost总结
法相的博客
03-20 4784
mark一下，感谢作者分享！ 一、DBDT 分裂 GBDT使用的决策树就是CART回归树，无论是处理回归问题还是二分类以及多分类，GBDT使用的决策树自始至终都是CART回归树。 　　对于回归树算法来说最主要的是寻找最佳的划分点，那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数，都是用纯度来衡量的，但是在回归树中的样本标签也是连续数值，所以再使用熵...
机器学习之监督学习(四)决策树和随机森林
2301_79376014的博客
09-07 1162
在这棵决策树中，在根结点中选取耳朵形状作为特征，然后根据耳朵尖状或松散分叉成左右子树，左孩子结点选择脸型作为特征，右孩子结点选择胡须作为特征，再进一步分叉后第三层的叶子结点输出类别（是猫/不是猫）。看上图，当选择cat DNA作为特征时，可以发现左边都是猫，右边都是狗，即完全分门别类，左右边纯度都是100%。按第三个特征分裂，左边猫占3/4，右边非猫占2/3，可以发现两个比例都是按第一个特征分裂最高，因此选取第一个特征最优。上面案例中的特征都是二元特征，也就是只有两个取值，这样构建的决策树属于二叉树。
决策树基础概论
最新发布
hello.reader
09-11 1256
在机器学习领域，决策树（Decision Tree）是一种高度直观且广泛应用的算法。它通过一系列简单的是/否问题，将复杂的决策过程分解为一棵树状结构，使得分类或回归问题的解决过程直观明了。决策树的最大特点在于可解释性强，每个决策节点都代表对特定特征的判断，最终根据这些判断得出结论。决策树适用于多种任务，例如：垃圾邮件分类、病症诊断、股票价格预测等。不仅如此，它还可以处理连续变量和离散变量，并且无需对数据进行过多预处理，如标准化或归一化。为了更好地理解决策树的结构，我们使用Mermaid。
【机器学习】4 ——熵
qq_43507078的博客
09-07 1163
信息熵
GAN 干！！！！
qq_56618414的博客
09-07 1232
自监督学习(Self-supervised learning) 旨在对于无标签数据 ，通过设计 辅助任务（Proxy tasks） 来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力（PS：这里获取的监督信息不是指自监督学习所面对的原始任务标签，而是构造的辅助任务标签）。D 的训练过程：从真实数据分布和噪音变量的先验分布中采样数据，用 value function 训练一个二分类的分类器，但分类器输出的概率一直是 1 / 2 --> D 什么都分不出来 --> 分布是重合的。
销售预测：XGBoost与LightGBM组合模型的精准分析
5. **组合模型**：组合多个预测模型（如XGBoost和LightGBM）可以提高预测精度，通过集成学习方法（如投票或平均）来减少单一模型的错误。 6. **预测精度评估**：文中提到组合模型的预测精度优于单个模型，这通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值