XGBoost解析系列-数据加载

最新推荐文章于 2023-04-30 15:47:55 发布
最新推荐文章于 2023-04-30 15:47:55 发布
阅读量5.4k 收藏 12
点赞数 2
分类专栏： xgboost c++ 文章标签： DMatrix xgboost 多线程 工厂模式 单例模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matrix_zzl/article/details/78705753
版权

0.前言

  本文主要介绍XGBoost中数据加载过程，主要是DMatrix::Load内容。

1. XGBoost数据加载

1.1 DMatrix::Load主流程

  数据集加载语句为：

std::shared_ptr<DMatrix> dtrain(DMatrix::Load(param.train_path, param.silent != 0, param.dsplit == 2));

# 函数原型为：DMatrix* DMatrix::Load(const std::string& uri, bool silent, bool load_row_split, const std::string& file_format)

  可见，DMatrix::Load返回为DMatrix对象指针，参数传入为：1）文件URI地址，2）silent开关，为true打印统计信息，3）load_row_split为分布式开关，为true，则对数据进行分片shard。4）file_format为数据解析格式，默认参数为"auto"，自动解析文件数据格式。基于mushroom.conf配置， 提供训练数据地址：xgboost目录下demo/data/agaricus.txt.train，数据为libsvm格式。DMatrix::Load主流程如下：
  1. uri带有#符号，解析出cache_file文件，考虑分布式模式的情况；
  2. 分布式模式，获取当前主机排序partid以及主机总数npart，单机下partid=1;npart=1；
  3. 满足file_format == "auto" && npart == 1，检测文件是否为二进制数据文件，检查开头魔方是否为SimpleCSRSource::kMagic，若是则LoadBinary直接初始化SimpleCSRSource数据源对象source。
  4. 构建解析器parser，基于工厂设计模式，基类dmlc::Parser<uint32_t>调用静态方法Create(), 尽管格式解析为”auto”，目前使用libsvm格式解析。
  5. 解析器parser构建返回DMatrix对象：dmat = DMatrix::Create(parser.get(), cache_file)，核心过程，后续详解。
  6. 根据参数slient打印相关统计信息，尝试读取.group后缀的文件；.base_margin后缀的boost初始设定值；.weight样本的权重，用于代价敏感学习，不存在则跳过。

1.2 解析器parser构建过程

  该小节先对步骤4进行详解，Parser<uint32_t>继承于DataIter<RowBlock<uint32_t> >，实际上内部数据以CSR格式。基于静态方法Parser<uint32_t>::Create()构建实例，该方法调用普通方法CreateParser_方法。由于配置最后解析为libsvm格式，使用ParserFactoryReg工厂来找到对应的LibSVMParser解析器对象。具体代码参考如下：

// 通过ptype=libsvm找到已注册的解析器工厂方法，Get()->Find()后面会看到
const ParserFactoryReg<IndexType>* e =
      Registry<ParserFactoryReg<IndexType> >::Get()->Find(ptype);
// 通过工厂方法生成解析器对象，最终调用的是CreateLibSVMParser<uint32_t>函数
return (*e->body)(spec.uri, spec.args, part_index, num_parts);

  理解上述的代码需要梳理以下的类定义与宏定义过程：

ParserFactoryReg解析器工厂类定义

// 工厂模式，通过宏定义来注册组件，继承FunctionRegEntryBase
// 第1个类参数必须是本身类型，第2个类参数是工厂方法。
// ParserFactoryReg会绑定工厂方法类型，通过工厂方法来组件对象，即Parser<IndexType>::Factor为函数类型
// 后期会调用DMLC_REGISTRY_ENABLE实例生成静态单例工厂对象。宏定义实现可扩展的工厂模式+对象单例非常精彩
template<typename IndexType>
struct ParserFactoryReg : public FunctionRegEntryBase
<ParserFactoryReg<IndexType>, typename Parser<IndexType>::Factory> {};

FunctionRegEntryBase工厂基类模板

// FunctionRegEntryBase方法注册类模板，需要注册项类型，方法类型
template<typename EntryType, typename FunctionType>
class FunctionRegEntryBase {
 public:
  std::string name;                         // 注册项名字
  std::string description;                  // 注册项描述
  std::vector<ParamFieldInfo> arguments;
最低0.47元/天 解锁文章
cyber19
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R语言构建xgboost模型、预测推理：输出预测概率、预测标签
data+scenario+science+insight
10-19 2188
R语言构建xgboost模型、预测推理：输出预测概率、预测标签 目录 R语言构建xgboost模型、预测推理：输出预测概率、预测标签 #github安装最新xgboost #cran安装xgboost #仿真数据集 #构建xgboost模型 #xgboost模型预测推理（输出预测概率） #xgboost模型预测推理（输出预测标签） #github安装最新xgboost install.packages("drat", repos="https://cran...
xgboost设置cpu核数
大鱼的博客
08-21 2114
xg默认是满核 运行，对应文档内容如下: nthread [default to maximum number of threads available if not set] Number of parallel threads used to run XGBoost 我们也可以根据nthread这个参数进行设置 试了一下： import xgboost as xgb from sklearn.datasets import make_hastie_10_2 import numpy a.
机器学习_XGB模型训练内存溢出解决方案
大道至简
11-15 2707
在我们的机器学习任务之中，当数据量非常之大的时候。我们会在两个地方遇到内存溢出的情况。 数据读取与处理 模型训练 之前笔者有写过数据读取与处理解决内存溢出的相关处理方案（核心是用生成器分批处理） 可以看笔者之前的文章：机器学习预处理效率及内存优化（多进程协程优化） 本文主要讲解如何处理xgb模型训练的时候内存溢出的情况 一、内存数据转libsvm文件 主要是将数据转成生成器，然后分批以csr_matrix形式压缩写入相应文件。 import xgboost as xgb import os from t
xgboost训练、评估与模型的保存、加载及使用
zzpl139的博客
11-17 1945
xgboost训练、评估与模型的保存、加载及使用
【c++】——解析宏定义
怡宝2号
04-30 432
c++，宏定义 很多大型的c++项目使用了很多的设计模式，其中就有很多宏定义，绕来绕去的很是头疼。同时，gcc编译的第一步预处理的时候会替换掉宏定义，这样相对来说就更好理解了。 gcc -E hello.c -o hello.i 预处理阶段包含：头文件展开，宏定义替换等 这里以nnvm项目中src/top/nn/convolution.cc为例，进行尝试。源文件中有宏定义： DMLC_REGISTER_PARAMETER(Conv2DParam); NNVM_REGISTER_OP(conv2d) 这.
XGBoost解析系列-准备
cyber的博客
11-18 4554
前言 代码准备 编译准备 debug编译配置 VS Code可视化调试0.前言  研究生期间有幸和各路大腿参加过些机器学习与数据挖掘的比赛，发现xgboost单模型分类与回归效果往往比其他模型LR、RF、SVM、GDBT模型要好上不少，现在Microsoft还出LightGBM，首秀就在滴滴大赛中摘得10w美刀桂冠。当然也不好一概而论，比赛场景有限，数据特征处理偏稠密方式，比如图像领域CNN效果模型
文本分类数据-数据集
03-06
在处理NLP_data_list_0715.csv时，首先需要加载数据，解析文本和标签，然后进行上述预处理和特征工程步骤。接下来，选择合适的模型进行训练，并利用验证集进行调优。最后，评估模型在测试集上的性能，以确认其在未见...
tianchi O2O: xgb_feature_score-数据集
03-05
【内容】在使用这个数据集时，我们需要首先加载并解析"xgb_feature_score.csv"文件。这可以通过Python的pandas库完成，代码如下： ```python import pandas as pd data = pd.read_csv('xgb_feature_score.csv') ...
大数据分析案例解析.pdf
12-22
在Python 3.5环境中，可以利用如pandas这样的库来处理和加载数据。对于多文件的数据，可以通过给文件命名添加特定前缀，例如以PPD开头，然后分别读取主表、历史记录、辅助信息等，再按照索引或共享键进行合并。 ...
xgboost训练数据集-数据集
03-30
xgboost训练数据集
Lightgbm和Xgboost对比范例
01-05
1. **数据加载**：使用Pandas库读取`adult.csv`数据集，进行预处理，如缺失值处理、异常值检测和特征编码。 2. **特征工程**：创建新的特征或转换现有特征，以增强模型的解释性和性能。 3. **模型构建**：分别用...
XGBOOST回归预测
04-10
1. 加载数据。 2. 数据预处理，包括缺失值填充、异常值处理、特征工程等。 3. 划分训练集和测试集。 4. 初始化XGBoost模型，设置参数，如n_estimators（树的数量）、max_depth（树的最大深度）、learning_rate（学习...
上手机器学习系列-第5篇（上）-XGBoost
a_step_further的博客
03-12 491
引言 在第4篇中我们简要介绍了GBDT的使用方法，本篇来聊一种进阶的GBDT-XGBoost，这是一款极其优秀的算法解决方案，项目官方网站：https://xgboost.readthedocs.io/en/latest/。 XGBoost本身最大的优势就在于它在工程上做了大量的工作，使得该算法可以广泛应用到不同的生态中（python、spark、C++等）。 Python + XGBoost 对...
XGboost--DMatrix对象
m0_62865498的博客
04-30 1125
生成的 DMatrix 对象被赋值给变量 dtrain，它包含了 XGBoost 模型的特征数据（即预测变量），其形状为二维数组 (n_samples, n_features)。在训练模型时，可以使用 DMatrix 对象提供的高效数据结构和算法，以及并行化计算，来加速训练过程。在创建 DMatrix 对象时，需要指定特征矩阵和标签向量，以及一些其他参数，如缺失值的填充方式、权重向量等。由于 DMatrix 对象支持多种数据源和自定义参数，因此它非常灵活和可定制，可以适应各种数据集和应用场景的需求。
XGBoost如何用2GB内存训练100GB的数据！
AI蜗牛车
07-23 1101
kaggle竞赛宝典作者：CoggleXGBoost迭代读取数据集简介在大规模数据集进行读取进行训练的过程中，迭代读取数据集是一个非常合适的选择，在Pytorch中支持迭代读取的方式。接下来我们将介绍XGBoost的迭代读取的方式。内存数据读取classIterLoadForDMatrix(xgb.core.DataIter): def__init_...
用XGBoost迭代读取数据集
Datawhale
06-26 583
Datawhale干货来源：Coggle数据科学在大规模数据集进行读取进行训练的过程中，迭代读取数据集是一个非常合适的选择，在Pytorch中支持迭代读取的方式。接下来我们将介绍XGBoost的迭代读取的方式。内存数据读取classIterLoadForDMatrix(xgb.core.DataIter): def__init__(self,df=Non...
XGBOOST 数据处理
erinapple的博客
07-23 5899
在Python中使用XGBoost 下面将介绍XGBoost的Python模块，内容如下：  * 编译及导入Python模块  * 数据接口  * 参数设置  * 训练模型l  * 提前终止程序  * 预测 A walk through python example for UCI Mushroom dataset is provided. 安装 首先安装XGBoost的C++版本，然后进...
XGBoost解析系列--源码主流程
热门推荐
cyber的博客
12-03 1万+
前言 入口过程 Train过程 1 Train主框架 2 UpdateOneIter流程 21 LazyInitDMatrix过程 22 PredictRaw过程 23 obj_-GetGradient过程 24 gbm_-DoBoost过程 241 分裂过程 242 剪枝过程0.前言  本文介绍XGBoost的源代码流程，先梳理源码主干流程，方便读者理解，结合函数名进行说明具体逻辑与功能。如果读者
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
最新发布
07-15
1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值