GBDT vs. XGBoost vs. LightGBM(论文层面)
GBDT vs. XGBoost
- GBDT无显式正则化
- GBDT仅使用了目标函数一阶泰勒展开,而XGBoost使用了二阶的泰勒展开值
- 为什么二阶展开?
- 一说加快收敛速度
- 另外有说本身模型训练的学习率shrinkage可以通过二阶导数做一个逼近,而原始的GBDT没有计算这个,所以一般是通过预设的超参数eta人为指定
- 为什么二阶展开?
- XGBoost加入了列采样
- XGBoost对缺失值的处理
- XGBoost通过预排序的方法来实现特征并行,提高模型训练效率
- XGBoost支持分布式计算
XGBoost vs. LightGBM
- 树的切分策略不同
- XGBoost是level-wise而LightGBM是leaf-wise
- 实现并行的方式不同
- XGBoost是通过预排序的方式
- LightGBM则是通过直方图算法
- LightGBM直接支持类别特征,对类别特征不必进行独热编码处理
sklearn GBDT vs. XGBoost vs. LightGBM(实现层面)
实际在库的实现层面原始论文里的很多区别是不存在的,差异更多在一些工程上的性能优化
sklearn GBDT vs. XGBoost
- 正则化方式不同
- sklearn GBDT中仅仅通过学习率来做一个正则化(影响到基学习器的数目),此外gbdt里的early stopping也达到了一个正则化的效果,对应的主要参数是min_impurity_split即控制了判断叶节点是否进一步切分的不纯度的阈值,若超过该阈值则可以进一步切分,否则不行,故而控制了树的深度即控制了基学习器的复杂度
- XGBoost除了学习率以外还有显示的设置正则化项l1,l2以及对应论文里的叶节点数(对应参数gamma)以及节点权重和(参数min_child_weight)来控制模型复杂度
- GBDT仅使用了目标函数一阶泰勒展开,而XGBoost使用了二阶的泰勒展开值
- XGBoost自有一套对缺失值的处理方法
- early-stopping意义不同
- sklearn GBDT中控制基学习器进一步切分、生长
- XGBoost控制基学习器的数目
- 特征重要性的判断标准
- sklearn GBDT是根据树的节点特征对应的深度来判断
- XGBoost则有三种方法(get_score)
- weight:特征用来作为切分特征的次数
- gain:使用特征进行切分的平均增益
- cover:各个树中该特征平均覆盖情况(根据样本?)
- 树的切分算法
- XGBoost存在三种切分方法,
- 原始的贪心算法(每个特征值切分)
- 近似贪心(分位点切分)(使得对于大量的特征取值尤其是连续变量时XGBoost会比sklearn-gbdt快很多)
- 直方图算法
- XGBoost存在三种切分方法,
- XGBoost支持level-wise和leaf-wise两种树的生长方式
- XGBoost支持GPU
- XGBoost支持多种评价标准、支持多种任务(回归、分类、排序)
XGBoost vs. LightGBM
XGBoost目前已经实现了LightGBM之前不同的一些方法比如直方图算法,两者的区别更多的在与LightGBM优化通信的的一些处理上
-
- LightGBM直接支持类别特征,可以不必预先进行独热编码,提高效率(categorical_feature)
- 优化通信代价
- 特征并行
- 数据并行
- point to point communication–>collective communication
- 使用多项评价指标同时评价时两者的早停止策略不同,XGBoost是根据评价指标列表中的最后一项来作为停止标准,而LightGBM则受到所有评价指标的影响