本文深入探讨了XGBoost模型的选择最佳分裂点策略，包括特征并行和直方图近似算法，以提高计算效率。此外，介绍了评价特征重要性的三种方式：weight、gain和cover。接着对比了XGBoost与GBDT、XGBoost与LightGBM的区别，以及应对过拟合的参数调整方法，如max_depth、min_child_weight和subsample等。最后，提到了大厂AI面试的相关资源。
问题6：XGBoost如何选择最佳分裂点？
XGBoost在训练前预先将特征按照特征值进行了排序，并存储为block结构，以后在结点分裂时可以重复使用该结构。
因此，可以采用特征并行的方法利用多个线程分别计算每个特征的最佳分割点，根据每次分裂后产生的增益，最终选择增益最大的那个特征的特征值作为最佳分裂点。
如果在计算每个特征的最佳分割点时，对每个样本都进行遍历，计算复杂度会很大，这种全局扫描的方法并不适用大数据的场景。XGBoost还提供了一种直方图近似算法，对特征排序后仅选择常数个候选分裂位置作为候选分裂点，极大提升了结点分裂时的计算效率。
问题7：XGBoost如何评价特征的重要性
采用三种方法来评判XGBoost模型中特征的重要程度：
weight ：该特征在所有树中被用作分割样本的特征的总次数。
gain ：该特征在其出现过的所有树中产生的平均增益。
cover ：该特征在其出现过的所有树中的平均覆盖范围。
注意：覆盖范围这里指的是一个特征用作分割点后，其影响的样本数量，即有多少样本经过该特征分割到两个子节点。
问题8：GBDT与Xgboost的区别
传统的GBDT以CART树作为基学习器，XGBoost还支持线性分类器，这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归（分类）或者线性回归（回归）；
传统的GBDT在优化的时候只用到一阶导数信息，XGBoost则对代价函数进行
最低0.47元/天 解锁文章
8724
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
