XGBoost解析系列-准备

最新推荐文章于 2024-02-04 21:14:58 发布
最新推荐文章于 2024-02-04 21:14:58 发布
阅读量4.5k 收藏 10
点赞数 4
分类专栏： xgboost debug c++ 文章标签： 机器学习 数据挖掘 xgboost VS-code gdb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matrix_zzl/article/details/78571349
版权

0.前言

  研究生期间有幸和各路大腿参加过些机器学习与数据挖掘的比赛，发现XGBoost单模型分类与回归效果往往比其他模型LR、RF、SVM、GDBT模型要好上不少，现在Microsoft还出LightGBM，首秀就在滴滴大赛中摘得10w美刀桂冠。当然也不好一概而论，比赛场景有限，数据特征处理偏稠密方式，比如图像领域CNN效果模型更好，而计算广告业界更喜欢使用FM/FFM做预估，前者是高维像素级特征，后者是千亿级别的离散特征。
  也正是体验过XGBoost强大之处，满怀着对陈天奇大神的钦佩之情，最近强行腾出时间阅读&Debug完陈天奇实现XGBoost的源码，对于饥渴已久的我来说，读完最大感受是：实现算法需要这么多硬技能！值得花时间去钻研学习，不仅对XGBoost的理解更深刻了，也对日后算法工程实现都有指导意义。接下来该系列会慢慢剖析XGBoost的工程实现，敬请期待！

  对于有心想阅读&debug陈天奇版本XGBoost源码的读者建议看完该博客。

1.代码准备

  笔者以macOS系统（macOS Sierra Version:10.12.1）作为开发环境进行说明，不同系统请读者自行google相关替代过程，首先下载github代码：

git clone --recursive https://github.com/dmlc/xgboost

  加上参数–recursive，会把xgboost依赖的submodule都clone下来，并放在xgboost主目录下。目前笔者基于git库的log commit：d9d5293cdbbbf67dc8ff9d4a3f171d0990fdd1ee （2017.10.26 17:31:10提交的commit），xgboost依赖以下4个模块：

  • dmlc-core：用于支撑DMLC机器学习项目的公共代码库
  • rabit：封装了高度可依赖的Allreduce与Broadcast接口，用于分布式消息同步
  • nccl：优化后的多GPU通信基础库
  • cub：CUDA编程相关库

2. 编译准备

  1. mac系统原生编译工具基于clang与lldb，其中编译工具clang使用的stl等库实现与GNU是不同的，还是建议安装GNU的编译工具，笔者mac下安装其他软件使用HomeBrew。

  • gcc/g++编译链接，笔者安装gcc 6.0版本、目前有7.0+版本
  • gdb调试工具，笔者安装的8.0.1版本，高版本有新特性支持
brew install gcc6 --without-multilib
brew install gdb

   注意：gdb在mac系统下因为权限问题不能直接调试程序，第一次使用会出现错误Unable to find Mach task port，需要安装信任证书并codesign下：
  1. command+空格输入“钥匙串访问”，点击左上角的“钥匙串访问”菜单选择：证书助理->创建证书->名称填写gdb-cert，证书类型选代码签名,勾选”让我覆盖这些默认值”，然后一直next，直到“指定用于该证书的位置”选择“系统”。
  2. 选择“系统”、“我的证书”，找到刚刚的证书，选择“始终信任”。
  3. 运行以下shell命令，重启系统，证书才能生效

  注意：如果创建系统证书的时候出现未知错误Unknown Error = -2,147,414,007时，解决方法：可以先“指定用于该证书的位置”选择“登录”（可以执行成功），然后导出创建证书到本地，删除刚创建的登录证书，再把导出的文件导入到系统证书中。笔者基于macOS Sierra 10.13版本会出现这种问题，也通过该方法解决。最后，重启按住command + R进入恢复模式，打开终端，输入

最低0.47元/天 解锁文章
cyber19
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
麻烦提供基于pytorch的EEMD+STL+XGBoost+LightGBM+ConvLSTM的读取csv数据的多输入单输出的时序训练及预测代码...
weixin_35751194的博客
02-16 287
以下是一个基于 PyTorch、EEMD、STL、XGBoost、LightGBM 和 ConvLSTM 的多输入单输出时序预测的代码示例。这个代码示例假设你已经安装好了 PyTorch、EEMD、XGBoost 和 LightGBM。 ``` import pandas as pd import numpy as np import torch import torch.nn as nn imp...
xgboost 入门
厚积薄发的博客
11-27 451
1.安装xgboost  pip3 install xgboost 2.xgboost demo agaricus.txt.train  agaricus.txt.test 蘑菇数据集---二分类问题 数据详细的解释地址     https://archive.ics.uci.edu/ml/datasets/Mushroom 每一行数据有22个 属性 # coding:utf-8 im...
深入理解XGBoost：分布式实现
hellozhxy的博客
04-03 1646
文章来源：公众号【Coggle数据科学】 写在前面 本文将重点介绍XGBoost基于Spark平台Scala版本的实现，带领大家逐步完成特征提取、变换和选择、XGBoost模型训练、Pipelines、模型选择。 XGBoost简单回顾 XGBoost（Extreme Gradient Boosting）由华盛顿大学的陈天奇博士提出，最开始作为分布式（深度）机器学习研究社区（DMLC）小组...
ML之XGBoost：基于泰坦尼克号数据集(填充/标签编码/推理数据再处理)利用XGBoost算法(json文件的模型导出和载入推理)实现二分类预测应用案例
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-24 1084
​ ML之XGBoost：基于泰坦尼克号数据集(填充/标签编码/推理数据再处理)利用XGBoost算法(json文件的模型导出和载入推理)实现二分类预测应用案例 目录 基于泰坦尼克号数据集(独热编码/标签编码)利用XGBoost算法(json文件的模型导出和载入推理)实现二分类预测应用案例 # 1、定义数据集 # 2、数据预处理 # 3、模型训练与评估 # 4、模型推理 基于泰坦尼克号数据集(独热编码/标签编码)利用XGBoost算法(json文件的模型导出和载入推
xgb模型json转pmml
zcc_0015的专栏
11-03 449
需要改变加载模型的方式，首先创建 XGBClassifier或XGBRegressor类对象，创建Booster对象加载模型，将booster对象赋值给模型对象的_Booster属性，然后把模型对象传入PMMLPipeLine的创建参数里，模型对象实现了fit方法，因此上面的问题解决。总结：（1）对xgb模型的加载，可以通过booster的方式，但是该类没有实现fit方法，也可以创建具体的分类或回归的模型对象，将booser赋值给模型对象的_Booster, 通过模型对象进行predict。
XGBoost解析系列-原理
cyber的博客
11-26 1万+
前言 Boosting算法框架 XGBoost优化 XGBoost算法 XGBoost工程优化 XGBoost算法复杂度 参考资料0.前言  解析源码之前，还是介绍说明下XGBoost原理，网上对于XGBoost原理已有各种版本的解读。而这篇博客，笔者主要想根据自己的理解，梳理看过的XGBoost资料，包括陈天奇的论文以及引用论文内容，本文主要内容基于陈天奇的论文与PPT，希望能够做到系统地介绍XG
xgboost-1.7.5-py3-none-win-amd64
06-11
工具箱中是调用《xgboost-1.1.0+115e4c33608c3b0cee75402f1193e67fdb11ef9a-py3-none-win_amd64.whl》这个版本的whl文件。 针对windows64位系统，要注意下载后缀为win_amd64的文件，当然版本不需要严格用1.10的 ，用...
xgboost-0.82-py2.py3-none-win_amd64.whl
02-22
xgboost-0.82-py2.py3-none-win_amd64.whl
XGBoost解析系列-原理_C_C++_cyber的博客-CSDN博客1
08-03
XGBoost的算法框架基于1999年Friedman提出的Boosting思想，其核心是通过一系列弱学习器（通常是决策树）的迭代来构建一个强学习器。每个弱学习器都是为了最小化前一轮学习器的残差，即误差的负梯度方向。在Friedman...
Python库 | xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl
05-11
资源分类：Python库 所属语言：Python 资源全名：xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
xgboost-1.0.2-cp37-cp37m-win_amd64.whl
04-20
xgboost编译64位，适合python3.7，直接使用pip install xgboost可安装使用，简单省事，可能python需要64位的
如何安装xgboost库
weixin_42576804的博客
01-17 2865
要安装xgboost库，可以使用pip命令： pipinstall xgboost 如果你使用的是Anaconda环境，则可以使用conda命令来安装： condainstall -c anaconda py-xgboost 如果需要安装最新版本的xgboost, 可以通过以下方式安装： pip install --upgrade --user xgboost 在某些情况下，你需要在安装xg...
天池龙珠训练营xgboost学习笔记
GYY4LOVEZYN的博客
04-14 381
XGBOOST算法 1.简介 XGboost是一种集成算法（boosting)，boosting算法的核心思想就是将多个弱分类器集中在一起做成一个强分类器。XGBOOST模型又被称为提升树模型，即将多个树模型整合到一起，组成一个强分类器。其中依托的树模型为cart回归模型。 2.CART回归树模型 其基本原理，假设树为二叉树，通过不同特征来分裂树。实质上就是通过不同特征纬度对样本空间进行划分，但是优化问题（如何找到最佳的特征和最佳的分裂...
XGB-3: 模型IO
最新发布
uncle_ll的博客
02-04 1083
xgboost的模型IO介绍
随笔之xgboost的简单使用
家住海边，见过大风大浪
03-15 782
不多废话，直接上代码 # -*- coding: utf-8 -*- # @Author: Phill # @Date: 2019-03-14 14:43:10 # @Last Modified by: Phill # @Last Modified time: 2019-03-14 14:57:02 import numpy as np import pandas as pd ...
[机器学习] XGBoost 样本不平衡问题
摩登都市天空---专栏
05-06 1万+
一 说明 在对不平衡数据进行训练时，通常会考虑一下怎么处理不平衡数据能使训练出来的结果较好。能想到的比较基础的方法是过采样和下采样来缓解数据中的正负样本比。 在用xgboost训练二分类模型时，除了直接使用过采样和下采样，xgboost接口还提供一些处理不平衡数据的方法，有scale_pos_weight参数的设置，还有给样本赋予一定的权重。接下来让我们仔细看一下吧～ 参数scale_pos_weight： 官方的解释是这样的，scale_pos_weight可以设置为数据中负样本数量/正样本数
XGBoost参数详解（API文档）
qq_43751506的博客
10-06 6272
** XGBoost参数 ** 在运行XGBoost之前，我们必须设置三种类型的参数：常规参数，增强器参数和任务参数。 一般参数与我们用来进行增强的助推器有关，通常是树状模型或线性模型 增压器参数取决于您选择的增压器 学习任务参数决定学习场景。例如，回归任务可以对排名任务使用不同的参数。 命令行参数与XGBoost的CLI版本的行为有关。 常规参数 booster[默认= gbtree] 使用哪个...
XGBoost解析系列--源码主流程
热门推荐
cyber的博客
12-03 1万+
前言 入口过程 Train过程 1 Train主框架 2 UpdateOneIter流程 21 LazyInitDMatrix过程 22 PredictRaw过程 23 obj_-GetGradient过程 24 gbm_-DoBoost过程 241 分裂过程 242 剪枝过程0.前言  本文介绍XGBoost的源代码流程，先梳理源码主干流程，方便读者理解，结合函数名进行说明具体逻辑与功能。如果读者
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值