GBDT、Xgboost、LightGBM对比

LightGBM 与 XGBoost 的不同点

1. 由于在决策树在每一次选择节点特征的过程中，要遍历所有的属性的所有取值并选择一个较好的。XGBoost 使用的是近似算法，先对特征值进行预排序 Pre-sort，然后根据二阶梯度进行分桶，能够更精确的找到数据分隔点；但是复杂度较高。LightGBM 使用的是直方图算法，这种只需要将数据分割成不同的段即可，不需要进行预先的排序。占用的内存更低，数据分割的复杂度更低。
2.决策树生长策略，XGBoost 采用的是 Level-wise 的树生长策略，LightGBM 采用的是 leaf-wise 的生长策略，以最大信息增益为导向。后者进度更高，容易过拟合，所以要控制最大深度。
这里是引用

3.并行策略对比，XGBoost 的并行主要集中在特征并行上，而 LightGBM 的并行策略分特征并行，数据并行以及投票并行。

LightGBM 与 XGboost 的并行策略

特征并行、数据并行、投票并行
并行策略

运用场景

1.XGBoost特点是计算速度快，模型表现好，可以用于分类和回归问题中
2.LightGBM的训练速度和效率更快、 使用的内存更低、 准确率更高、 并且支持并行化学习与处理大规模数据
3.GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务