【超详细】LightGBM介绍与应用

目录

1. LightGBM简介

2. LightGBM详细介绍

2.1 单边梯度抽样算法

2.2 直方图算法

2.3 互斥特征捆绑算法

 2.4 基于最大深度的 Leaf-wise 的垂直生长算法（带深度限制的 Leaf-wise 算法）

2.5 类别特征最优分割 （直接支持类别特征）

 2.6 特征并行和数据并行

2.6.1 特征并行

2.6.2 数据并行

2.6.3 投票并行 

2.7  Cache命中率优化

3. LightGBM的优缺点

3.1 优点

（1）速度更快

（2）内存更小

 3.2 缺点

4. python实例

4.1 安装LightGBM依赖包

4.2 LightGBM分类和回归 

5. 相关论文

---

 

1. LightGBM简介

LightGBM （Light Gradient Boosting Machine）由微软提出，主要用于解决 GDBT 在海量数据中遇到的问题，以便其可以更好更快地用于工业实践中。

常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。

GBDT (Gradient Boosting Decision Tree)的主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于