1 LGBM和XGB的差异
LGBM比XGBoost更快,且很好保持住了准确性。它主要从三方面着手:
(1) 在树方面,提出了直方图算法寻找最佳分裂点,而且还采用Leaf-wise树生长策略。
(2) 在样本数上,使用GOSS保留所有大梯度样本但随机采样小梯度样本,减少训练样本量。
(3) 在特征数上,使用EFB捆绑互斥特征,将特征变稠密。此外,作者还采用GS编码,在GBDT一类模型中,这是第一次能直接支持类别型特征,不需要提前独热编码后再输入至模型中。最后,同样地,LightGBM也跟XGBoost一样进行了工程优化,使得训练能高效并行且增加Cache命中率。