上一篇我们介绍了XGBOOST,这一篇我们趁热打铁来把LIGHTGBM也讲了!
Abstract
提出两个方法:Gradient-based One-Side Sampling (GOSS)(单边采样) 和 Exclusive Feature Bundling (EFB)(互斥特征捆绑).
GOSS就是不考虑具有小梯度的数据,而这部分数据往往占有很大比重,只考虑会带来大梯度的数据。
EFB就是用贪心算法把互斥的特征绑在一起,减少了特征的数量。互斥是指这些特征不会同时具有非零值。
经过这两个操作,实验证明速度很快。
1 Introduction