LightGBM原理和调参

背景知识

LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架，具有支持高效率的并行训练、更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以处理海量数据等优点。

普通的GBDT算法不支持用mini-batch的方式训练，在每一次迭代的时候，都需要多次遍历整个训练数据。这样如果把整个训练数据装进内存则会限制训练集的大小，如果不装进内存，反复的读写数据又会大量消耗时间，特别不适合工业级海量数据的应用。LGBM的提出就是为了解决这些问题。

XGBoost

在LGBM提出之前，应用最广泛的GBDT工具就是XGBoost了，它是基于预排序的决策树算法。这种构建决策树的算法基本思想是：

• 首先，对所有特征都按特征的数值进行预排序；
• 其次，在遍历分割点的时候用O(#data)的代价找到一个特征上的最佳分割点；
• 最后，在找到一个特征的最佳分割点后，将数据分裂成左右子节点。

这样预排序算法的优点是能精确地找到分割点，但是缺点也很明显：

1. 空间消耗大。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如，为了后续快速的计算分割点，保存了排序后的索引），这就需要消耗训练数据两倍的内存。
2. 时间开销大。在遍历每一个分割点的时候，都需要进行分裂增益的计算，消耗的代价大。
3. 对cache优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对cache进行优化。同时，在每一层生成树的时候 ，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的cache miss。

LGBM的优化

为了弥补XGBoost的缺陷，并且能够在不损害准确率的条件下加快GBDT模型的训练速度，LGBM在传统的GBDT算法上进行了如下优化：

1. 基于Histogram的决策树算法。
2. 单边梯度采样(Gradient-based One-side Sampling, GOSS)：使用GOSS可以减少大量只具有小梯度的数据实例，这样在计算信息增益的时候只利用剩下的具有高梯度的数据就可以了，相比XGBoost遍历所有特征节省了不少时间和空间上的开销。
3. 互斥特征捆绑(Exclusive Feature Bundling, EFB)：使用EFB可以将许多互斥的特征绑定为一个特征，这样达到了降维的目的。
4. 带深度限制的Leaf-wise的叶子生长策略：大多数GBDT工具使用低效的按层生长(level-wise)的决策树生长策略，因为它不加区分的对待同一层叶子，带来了很多没必要的开销，实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。LGBM使用了带有深度限制的按叶子生长(leaf-wise)算法。
5. 直接支持类别特征(Categorical Feature)。
6. 支持高效并行。
7. Cache命中率优化。

---

LGBM基本原理

LGBM是基于Histogram的决策树算法。直方图算法的基本思想是：先将连续的浮点特征值离散成K个整数，同时构造一个宽度为k的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。

直方图算法的简单理解为：首先确定对于每个特征需要多少个箱子(bin)并为每个箱子分配一个整数；然后将浮点数的范围均分成若干区间，区间个数与箱子个数相等，将属于该箱子的样本数据更新为箱子的值；最后用直方图(#bins)表示。该算法本质上很简单，就是将大规模的数据放在了直方图中，就是直方图统计。

特征离散化