1.xgboost基于一种划分时对数值进行预排序presort,因此不能处理类别型特征,这种方法好处是能够处理精准找到分裂点,但是时间复杂度很高;
而Light GBM基于hist直方图,对于连续性特征将其类别化k类,然后进行hist统计,根据直方图离散值的统计,来寻找最优分割点。
2.xgboost生长策略是广度优先level-wise,而LGBM采用的策略是leaf-wise策略,只对能带来最大增益的节点进行分裂。
3.分类结果权重上,xgboost和LGBM是基于基分类器的错误率有关
4.RF是并行训练,所有分类器之间没有任何关系;但是GBDT是串行的,下个分类器是基于上个分类器