lightgbm和xgboot学习融合笔记

最新推荐文章于 2023-10-10 11:56:28 发布
最新推荐文章于 2023-10-10 11:56:28 发布
阅读量350 收藏 7
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44897776/article/details/116375379
版权

lightgbm和xgboot学习融合

1决策树

常用的机器学习算法
直观理解
在这里插入图片描述

1.1分类树

1.1.1信息熵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
构建根节点
在这里插入图片描述
在这里插入图片描述

接下来我们寻找晴朗与否,湿度,风力和温
度四种状况与是否打高尔夫相关性最高的一个,进行决策树的构建。

在这里插入图片描述
在这里插入图片描述

1.1.2基尼Gini指数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2回归树

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2集成学习

在这里插入图片描述

2.1随机森林（bagging）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2boosting

在这里插入图片描述
在这里插入图片描述

2.2.1adaboost:加权学习

在这里插入图片描述

2.2.2 GBDT

GBDT：梯度提升算法。包括以下两个：XGBoost,LightGBM

2.2.2.1 BDT 提升树

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2.2.2 GBDT 梯度提升树

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
回归
在这里插入图片描述
分类
在这里插入图片描述
在这里插入图片描述

2.2.2.2.1 XGBoost

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2.2.2.2 Lightgbm

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

学习网址：

https://www.bilibili.com/video/BV1Ca4y1t7DS?p=2&share_source=copy_web

烟雨金城
关注
专栏目录
白话机器学习算法理论+实战番外篇之LightGBM
Miracle8070
04-10 1万+
1. 写在前面 如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的，在这简单的先捋一捋， 常见的机器学习算法： 监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等 无监督算法：聚类，降维，关联规则, PageRank等 我前面已经尝试用最白话的语言完成了一个白话机器学习算法理论+实战系列，这个系列已经基本包含了上面这些算...
深入理解LightGBM
Microstrong
01-04 4951
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities...
3.提升之XGBoost+lightgbm
taka_is_beauty的博客
02-27 1109
1.XGBoost的简述 引出XGBoost： xgboost是针对gbdt进行了改进，核心思想利用二阶导来代替一阶导，来拟合残差。 ps：这个二阶展开的好处就是迭代的更快了，处理了一阶导的不足因为一阶导只是在斜率方向下降最快，他不一定就是最快的。也有缺点损失函数必须为二阶可导 xgboost的构建过程： 首先：它是按层进行分裂的，意思就是每次分裂，都会作用当前层的每一个节点（构建的是一...
xgboost与lightgbm模型融合做天池比赛二手车价格预测
qq_27328197的博客
03-21 1763
文章目录前言什么是模型融合？xgboost与lightgbm模型融合做天池比赛二手车价格预测总结 前言 什么是AI？ The theory and development of computer systems able to perform tasks normally requiring human intelligence.(–Oxford Dictionary) Using data to solve problems.(–cy) 什么是模型融合？ xgboost与lightgbm模型融合做天池比
阿里AI天池大赛-阿里云安全恶意程序检测-TF-IDF特征+XGBoost与LightGBM模型融合
chongfa2008的博客
07-27 3337
1：报名地址 https://tianchi.aliyun.com/competition/entrance/231694/rankingList 2：排名分数 3：模型源码 废话不多说，直接上源码 import pandas as pd # 数据加载 def get_data(file_name): result = [] chunk_index = 0 for df in pd.read_csv(open(file_name, '...
Datawhale 202104 集成学习（中）| Boosting学习
Hoo的学习记录
04-16 296
Boosting学习1. 导论2. Boosting方法的基本思路3. Adaboost算法4. 前向分布算法5. 梯度提升决策树（GBDT）6. XGBoost算法7. Xgboost算法案例8. LightGBM算法9. 结语 1. 导论 从方差偏差理论出发，Bagging通过降低方差的方式减少预测误差，Boosting通过降低偏差的方式减少误差。 算法模型 提升方法 Boosting Adaboost 2. Boosting方法的基本思路 3. Adaboost算法 4.
XGBoost+LightGBM+LSTM:一次机器学习比赛中的高分模型方案
datayx的文章
02-16 682
向AI转型的程序员都关注了这个号????????????1 数据探索与数据预处理1.1 赛题回顾赛题背景作为世界第一大清洁能源的太阳能相对煤炭石油等能源来说是可再生、无污染的，只要有太阳就有太阳能，所以太阳能的利用被很多国家列为重点开发项目。但太阳能具有波动性和间歇性的特性，太阳能电站的输出功率受光伏板本体性能、气象条件、运行工况等多种因素影响，具有很强的随机性，由此带来的大规模并网困境严重制约着光伏发电的发展。通...
LightGBM学习笔记
ly_1995_01的博客
02-26 1714
目录 LightGBM简介 GOSS算法介绍 EFB算法介绍 3.1 捆绑簇生成算法 3.2 互斥特征合并算法 LightGBM参数说明 补充：直方图算法介绍 参考文献及链接 1. LightGBM简介 LightGBM是一个基于决策树学习算法的快速的、支持分布式的、高性能的梯度提升框架。其主要具有以下优点： 速度快 基于直方图算法，直方图做差，加速2倍 直接支持类别特征 bagg...
一文读懂决策树（ID3，C4.5，CART），随机森林，GBDT，AdaBoost,XGboost,lightGBM,CatGBM
weixin_38190044的博客
04-04 1230
信息熵 经验信息熵 条件熵 信息增益 ID3 ID3算法使用信息增益指标实现根节点或中间节点的字段选择，那个属性的信息增益大，选择那个属性作为分隔的节点，但是该指标存在一个非常明显的缺点，即信息增益会偏向于取值较多的字段。 C4.5算法 信息增益率，C4.5使用 HA参考 就是在信息增益的基础上进行相应的惩罚。其中，HA为事件A的信息熵。事件A的取值越多，GainA(D)可能越大，但同时...
机器学习案例笔记
SDFAA1的博客
01-04 1309
1.lambda x#首先将玩家注册日期提取出来作为单独一列 RegisterDate = data.loc[:,"玩家注册时间"].apply(lambda x: x[:10]) #单个参数的x.apply(lambda x:x[:10]) 取出x的前10个字符 2.groupby(列) 与sql用法一样 对列分组 聚合计算 #按照玩家注册日期对付费金额进行分组聚合平均计算 RegisterDateMean = data["付费金额"].groupby(RegisterDate).mean() ..
lightgb原理_深入理解LightGBM
weixin_34477616的博客
01-13 567
我的个人微信公众号：Microstrong微信公众号ID：MicrostrongAI微信公众号介绍：Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！本文主要内容概览：1. LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长...
（十一）集成学习中——XgBoost、LightGBM
一颗爱学习的小同学
04-27 426
参考：DataWhale教程链接 集成学习（上）所有Task： （一）集成学习上——机器学习三大任务 （二）集成学习上——回归模型 （三）集成学习上——偏差与方差 （四）集成学习上——回归模型评估与超参数调优 （五）集成学习上——分类模型 （六）集成学习上——分类模型评估与超参数调优 （七）集成学习中——投票法 （八）集成学习中——bagging （九）集成学习中——Boosting简介&AdaBoost （十）集成学习中——GBDT （十一）集成学习中——XgBoost、LightGBM 文章目录
模型融合---LightGBM总结
dili8870的博客
03-09 2710
一、LightGBM简介： 所属：boosting迭代型、树类算法 适用范围：回归/分类/排序 LightGBM工具包：lightGBM英文文档|lightGBM中文文档 论文链接 优点： 基于Histogram的决策树算法 带深度限制的Leaf-wise的叶子生长策略 直方图做差加速 直接支持类别特征(Categorical Feature) Cache...
机器学习之决策树算法：XGBoost、LightGBM和CatBoost
zhw864680355的博客
10-18 2796
参考原文： 从结构到性能，一文概述XGBoost、Light GBM和CatBoost的同与不同 决策树模型，XGBoost，LightGBM和CatBoost模型可视化 XGBoost、LightGBM和CatBoost 1、XGBoost XGBoost是陈天奇于2014年提出的一种算法，被称为GBM Killer。它用预排序算法+直方图算法为每一层的叶子找出最佳分裂，简而言之，就是...
天池龙珠计划寒假训练营学习笔记：利用XGBoost进行分析的完整流程
AI_SupplyChain的博客
01-29 571
天池龙珠计划寒假训练营学习笔记：利用XGBoost进行分析的完整步骤 工具：天池NoteBook 训练数据10.9MB 训练数据下载链接：https://tianchi-media.oss-cn-beijing.aliyuncs.com/DSW/7XGBoost/train.csv 声明： 本文主要内容来源于天池龙珠计划寒假训练营教材，部分内容有修改。 原文地址： 添加链接描述 1、XGBoost 的优缺点： 1.1 XGBoost的主要优点： 简单易用。相对其他机器学习库，用户可以轻松使用XGBoost
(九)XGBoost的原理、具体实例、代码实现
最新发布
user_28608的博客
10-10 7892
XGBoost，全称eXtreme Gradient Boosting ，简称XGB，是GBDT算法的一种变种，是一种监督算法；它是boost算法的一种，也属于集成算法，是一种伸缩性强、便捷的可并行构建模型的Gradient Boosting算法。其高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中。并取得了不错的成绩。它可用于分类，回归，排序问题。
XGBoost基本介绍（机器学习ML神器）
热门推荐
h2728677716的博客
03-16 2万+
介绍： 基于Boosting思想，利用梯度下降思想 XGBoost在机器学习里面所有算法里面算效果很好的了，对于很多竞赛，都是用XGBoost获得了很好的名词 基于树的集成学习优点： 基于树的集成学习不用做特征归一化，使用起来非常方便。 基于树的集成学习可以做到特征组合，不用自己做升维。 集成学习可以做大规模数据并行处理。使得训练过程更快。 目标有两个部分组成 Train Loss：评估训练数据拟合的多好 Regularization：正则项，提高模型的泛化能力，能够更好的再测
XGBoost模型详解
weixin_44852067的博客
04-24 1万+
1.什么是XGBoost？   GBDT，它是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t−1t-1t−1 棵树的预测结果与训练样本真实值的残差。XGBoost对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化。 2.XGBoost的核心原理 2.1 如何构造目标函数？   对于一个给定有 nnn 个样本和
Java Web学习笔记：解决常见异常和技术总结
Java Web 学习笔记是作者总结的学习笔记，旨在记录 Java Web 开发中遇到的常见问题和解决方法，以及一些常用的技术。笔记涵盖了多个方面，包括异常解决、Java EE 规范、Apache Commons 库、SLF4J 日志记录等。 常见...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

烟雨金城

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值