XGBoost解析系列-准备

最新推荐文章于 2023-11-03 10:46:23 发布
最新推荐文章于 2023-11-03 10:46:23 发布
阅读量4.5k 收藏 10
点赞数 4
分类专栏： xgboost debug c++ 文章标签： 机器学习 数据挖掘 xgboost VS-code gdb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matrix_zzl/article/details/78571349
版权

0.前言

  研究生期间有幸和各路大腿参加过些机器学习与数据挖掘的比赛，发现XGBoost单模型分类与回归效果往往比其他模型LR、RF、SVM、GDBT模型要好上不少，现在Microsoft还出LightGBM，首秀就在滴滴大赛中摘得10w美刀桂冠。当然也不好一概而论，比赛场景有限，数据特征处理偏稠密方式，比如图像领域CNN效果模型更好，而计算广告业界更喜欢使用FM/FFM做预估，前者是高维像素级特征，后者是千亿级别的离散特征。
  也正是体验过XGBoost强大之处，满怀着对陈天奇大神的钦佩之情，最近强行腾出时间阅读&Debug完陈天奇实现XGBoost的源码，对于饥渴已久的我来说，读完最大感受是：实现算法需要这么多硬技能！值得花时间去钻研学习，不仅对XGBoost的理解更深刻了，也对日后算法工程实现都有指导意义。接下来该系列会慢慢剖析XGBoost的工程实现，敬请期待！

  对于有心想阅读&debug陈天奇版本XGBoost源码的读者建议看完该博客。

1.代码准备

  笔者以macOS系统（macOS Sierra Version:10.12.1）作为开发环境进行说明，不同系统请读者自行google相关替代过程，首先下载github代码：

git clone --recursive https://github.com/dmlc/xgboost

  加上参数–recursive，会把xgboost依赖的submodule都clone下来，并放在xgboost主目录下。目前笔者基于git库的log commit：d9d5293cdbbbf67dc8ff9d4a3f171d0990fdd1ee （2017.10.26 17:31:10提交的commit），xgboost依赖以下4个模块：

  • dmlc-core：用于支撑DMLC机器学习项目的公共代码库
  • rabit：封装了高度可依赖的Allreduce与Broadcast接口，用于分布式消息同步
  • nccl：优化后的多GPU通信基础库
  • cub：CUDA编程相关库

2. 编译准备

  1. mac系统原生编译工具基于clang与lldb，其中编译工具clang使用的stl等库实现与GNU是不同的，还是建议安装GNU的编译工具，笔者mac下安装其他软件使用HomeBrew。

  • gcc/g++编译链接，笔者安装gcc 6.0版本、目前有7.0+版本
  • gdb调试工具，笔者安装的8.0.1版本，高版本有新特性支持
brew install gcc6 --without-multilib
brew install gdb

   注意：gdb在mac系统下因为权限问题不能直接调试程序，第一次使用会出现错误Unable to find Mach task port，需要安装信任证书并codesign下：
  1. command+空格输入“钥匙串访问”，点击左上角的“钥匙串访问”菜单选择：证书助理->创建证书->名称填写gdb-cert，证书类型选代码签名,勾选”让我覆盖这些默认值”，然后一直next，直到“指定用于该证书的位置”选择“系统”。
  2. 选择“系统”、“我的证书”，找到刚刚的证书，选择“始终信任”。
  3. 运行以下shell命令，重启系统，证书才能生效

  注意：如果创建系统证书的时候出现未知错误Unknown Error = -2,147,414,007时，解决方法：可以先“指定用于该证书的位置”选择“登录”（可以执行成功），然后导出创建证书到本地，删除刚创建的登录证书，再把导出的文件导入到系统证书中。笔者基于macOS Sierra 10.13版本会出现这种问题，也通过该方法解决。最后，重启按住command + R进入恢复模式，打开终端，输入

最低0.47元/天 解锁文章
cyber19
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用XGBoost之数据准备（LabelEncoder,One Hot Encode,处理缺失值）
liuzh的博客
03-29 1万+
由于其速度和性能，XGBoost是一种流行的梯度增强实现。 在内部，XGBoost模型将所有问题表示为仅以数值作为输入的回归预测建模问题。如果您的数据是另一种形式的，则必须将其准备成预期的格式。 在本文中，您将了解如何使用Python中的XGBoost库为梯度增强准备数据。 读完这篇文章你就会知道: 如何为分类编码字符串输出变量。 如何使用onehot准备分类输入变量。 如何使用XGBoost自动...
麻烦提供基于pytorch的EEMD+STL+XGBoost+LightGBM+ConvLSTM的读取csv数据的多输入单输出的时序训练及预测代码...
weixin_35751194的博客
02-16 288
以下是一个基于 PyTorch、EEMD、STL、XGBoost、LightGBM 和 ConvLSTM 的多输入单输出时序预测的代码示例。这个代码示例假设你已经安装好了 PyTorch、EEMD、XGBoost 和 LightGBM。 ``` import pandas as pd import numpy as np import torch import torch.nn as nn imp...
数据准备for xgboost
kylin_learn的博客
01-01 381
xgboost只接受数值 1.分类的输出变量编码 # multiclass classification import pandas import xgboost from sklearn import model_selection from sklearn.metrics import accuracy_score from sklearn.preprocessing import La...
GDB配置（打印STL容器、VS code配置、远程调试debug）
cyber的博客
11-19 9219
前言 gdb定义打印函数 配置pretty printer gdb gdbserver远程调试 gdb其他配置0.前言  Linux开发必须要把gdb玩的666呀，建议先阅读下《C++ vector STL实现详解》。gdb玩的666可以摆脱调试中各种使用std::cout打印输出变量的恶习，尤其对于大型项目，每次调试都需要增加std::cout，单单编译时长都能让你发狂，严重影响开发效率。1.g
xgb模型json转pmml
最新发布
zcc_0015的专栏
11-03 450
需要改变加载模型的方式，首先创建 XGBClassifier或XGBRegressor类对象，创建Booster对象加载模型，将booster对象赋值给模型对象的_Booster属性，然后把模型对象传入PMMLPipeLine的创建参数里，模型对象实现了fit方法，因此上面的问题解决。总结：（1）对xgb模型的加载，可以通过booster的方式，但是该类没有实现fit方法，也可以创建具体的分类或回归的模型对象，将booser赋值给模型对象的_Booster, 通过模型对象进行predict。
xgboost-1.7.5-py3-none-win-amd64
06-11
工具箱中是调用《xgboost-1.1.0+115e4c33608c3b0cee75402f1193e67fdb11ef9a-py3-none-win_amd64.whl》这个版本的whl文件。 针对windows64位系统，要注意下载后缀为win_amd64的文件，当然版本不需要严格用1.10的 ，用...
xgboost-0.82-py2.py3-none-win_amd64.whl
02-22
xgboost-0.82-py2.py3-none-win_amd64.whl
XGBoost解析系列-原理_C_C++_cyber的博客-CSDN博客1
08-03
XGBoost的算法框架基于1999年Friedman提出的Boosting思想，其核心是通过一系列弱学习器（通常是决策树）的迭代来构建一个强学习器。每个弱学习器都是为了最小化前一轮学习器的残差，即误差的负梯度方向。在Friedman...
Python库 | xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl
05-11
资源分类：Python库 所属语言：Python 资源全名：xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
xgboost-1.0.2-cp37-cp37m-win_amd64.whl
04-20
xgboost编译64位，适合python3.7，直接使用pip install xgboost可安装使用，简单省事，可能python需要64位的
gdb no symbol 问题
senduo的专栏
08-18 1593
gdb no symbol 问题 最近在rhel6上发现奇怪的问题，g++ -g 编译的程序，在gdb中打印不出任何变量的值。直到搜到了[这个] 原因 原版装的gcc低于4.8，因为项目中需要c++11的功能，将gcc升级到了4.8.2，而没有升级gdb，而gcc4.8生成的默认调试信息格式改为了DWARF4，老版的gdb不能解析。 解决方法 gdb -gdwarf-3 ...
如何在Windows 10中安装XGBoost
derekfuu的博客
07-21 719
This is a Tutorial on how to install XGBoost on Windows 10
xgboost源码
lusic01的专栏
11-30 1850
src/tree/tree_updater.cc（树模型的具体实现）  src/tree和src/linear分别是树和线性模型的具体实现，tree_updater是updater的入口，每一个Updater是对一棵树进行一次更新。其中的Updater分为两类：计算类和辅助类，updater都继承于TreeUpdater，互相之间又有调有关系，比如：prune调用sync，colmaker和fa...
使用xgboost建立评分卡
jwtning的博客
06-25 6843
1. 特征工程 信用评分模型的主要目的是衡量一个用户的信用风险。因此，特征的构造也要围绕着反映用户信用等级的数据展开。特征构造主要是时间维度的聚合统计及跨时 1.1 数据维度 通常衡量一个用户的还款能力...
树模型(六)：XGBoost
热门推荐
雪伦的专栏
04-21 18万+
文章内容可能会相对比较多，读者可以点击上方目录，直接阅读自己感兴趣的章节。1.序　　距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下这篇文章。　　关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考文献中会给出地
gdb使用
weixin_30615767的博客
05-13 116
编译时需添加-gdwarf-2和-g3两个参数。 加了-g3的参数后，gcc编译的时候，会将扩展的debug 信息编译进二进制文件里面，包括宏定义信息。 gdb主动生成core文件： gcore break if (condition)例子： break if (testval > 3) (testval可以是局部变量) 显示字符串全部长度 set print el...
XGBoost模型调参、训练、保存、评估和预测
LMTX069的博客
04-20 3万+
xgboost模型调参、训练、保存、评估、预测
解析xgb模型成sql语句
wgdzz的博客
02-27 2066
解析xgb模型成sql语句 xgb是一种功能强大，被广泛使用的树模型。树模型的本质是一组if-else组合。 训练好的xgb模型如何需要对大数据进行运算，往往需要分布式的环境。Hive是我们常用的处理数据的环境，往往一些模型运算也在其中。 我们可以使用以下三种方式，在Hive中计算xgb模型： 使用python tranform的形式，如果没有安装xgb的包，还需要自己解析模型文件； 将xgb模...
GBDT和XGBoost的区别
zlsjsj的博客
08-03 1万+
  GBDT利用损失函数的负梯度作为残差的近似值。 2. 如何评估特征的权重大小？ 答：a. 通过计算每个特征在训练集下的信息增益，最后计算每个特征信息增益与所有特征信息增益之和的比例为权重值。 b. 借鉴投票机制。用相同的gbdt参数对w每个特征训练出一个模型，然后在该模型下计算每个特征正确分类的个数，最后计算每个特征正确分类的个数与所有正确分类个数之和的比例为权重值。   xgbo...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值