LightGBM算法

LightGBM算法

1. LightGBM算法核心思想

LightGBM算法是 Boosting算法的新成员，它和XGBoost算法一样是对GBDT算法的高效实现，在原理上和 GBDT算法和 XGBoost算法类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。与传统的机器学习算法相比，LightGBM算法具有这些优势：训练效率更高，低内存使用，准确率更高，支持并行化学习，可以处理大规模数据。

2. LightGBM算法的数学原理

这个直接看 http://lightgbm.readthedocs.io ，其中有很多对该算法的原理及使用方法的讲解。下面将介绍一点 LightGBM算法数学原理的核心知识点。

2.1 基于 leaf-wise 的决策树生长策略

大部分决策树算法使用的生长策略是 $level-wise$ 生长策略，即同一层的叶子节点每次都一起分裂，也就是 1 -> 2 -> 4 -> 8…… 很容易发现，这样分裂会增加不小的开销。而 LightGBM 算法使用的则是 l e a f − w i s e leaf-wise