Xgboost参数介绍

xgboost是boosting算法的一种，是多个表现一般的学习器结合成的强分类器。 在目标函数上，增加了结构风险，也就是正则化项，L1和L2正则，L1是树叶子节点个数，L2是叶子节点打分的平方 在目标函数的优化上，采用二阶泰勒展开，使用了二阶导数，然后令偏导等于0，于是就可以计算出每一个叶子节点的预测分数 以及最小损失。在运行 XGBoost 之前, 我们必须设置三种类型的参数: （常规参数）general parameters，（提升器参数）booster parameters和（任务参数）task parameters。本文收集并总结了Xgboost的参数含义，参考文献详见文末。

• 常规参数与我们用于提升的提升器有关，通常是树模型或线性模型
• 提升器参数取决于你所选择的提升器
• 学习任务的参数决定了学习场景, 例如回归任务可以使用不同的参数进行排序相关的任务
• 命令行参数的行为与 xgboost 的 CLI 版本相关

-常规参数含义

• silent (boolean, optional) – Whether print messages during construction，已弃用，请使用verbosity。训练的过程是否输出信息。

• verbosity (boolean, optional) - 默认：1, 0 (silent), 1 (warning), 2 (info), 3 (debug)。

• nthread (integer, optional) – Number of threads to use for loading data when parallelization is applicable. If -1, uses maximum threads available on the system.线程数。

• booster - 使用哪种提升器。可以是gbtree、dart （基于树的模型）或 gblinear（线性函数）。

• num_pbuffer - XGBoost自动设置，无需用户设置。预测缓冲区的大小，通常设置为训练实例的数量。缓冲区用于保存最后一次增强步骤的预测结果。

• num_feature - XGBoost自动设置，无需用户设置。用于增强的特征尺寸，设置为特征的最大尺寸。

-cv参数含义：

• params (dict