LightGBM模型

LightGBM与XGBoost对比：

• 模型精度：两个模型相当
• 训练速度：LightGBM训练速度更快 => 1/10
• 内存消耗：LightGBM占用内存更小 => 1/6
• 特征缺失值：两个模型都可以自动处理特征缺失值
• 分类特征：XGBoost不支持类别特征，需要对其进行OneHot编码，而LightGBM支持分类特征

XGBoost模型的复杂度：

• 模型复杂度 = 树的棵数 X 每棵树的叶子数量 X 每片叶子生成复杂度
• 每片叶子生成复杂度 = 特征数量 X 候选分裂点数量 X 样本的数量

LightGBM针对XGBoost的优化：

• Histogram算法，直方图算法 => 减少候选分裂点数量
• GOSS算法，基于梯度的单边采样算法 => 减少样本的数量
• EFB算法，互斥特征捆绑算法 => 减少特征的数量
• LightGBM = XGBoost + Histogram + GOSS + EFB

Histogram算法-减少分类算法

• 替代XGBoost的预排序算法
• 思想是先连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图，即将连续特征值离散化到k个bins上（比如k=255）
• 当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点
• XGBoost需要遍历所有离散化的值，LightGBM只要遍历k个直方图的值
• 候选分裂点数量 = k-1

GOSS算法-减少样本数量：

• Gradient-based One-Side Sampling，基于梯度的单边采样算法
• 思想是通过样本采样，减少目标函数增益Gain的计算复杂度
• 单边采样，只对梯度绝对值较小的样本按照一定比例进行采样，而保留了梯度绝对值较大的样本
• 因为目标函数增益主要来自于梯度绝对值较大的样本 => GOSS算法在性能和精度之间进行了很好的trade off
  

EFB算法-减少特征数量：

• Exclusive Feature Bundling，互斥特征绑定算法
• 思想是特征中包含大量稀疏特征的时候，减少构建直方图的特征数量，从而降低计算复杂度
• 数据集中通常会有大量的稀疏特征（大部分为0，少量为非0）我们认为这些稀疏特征是互斥的，即不会同时取非零值
• EFB算法可以通过对某些特征的取值重新编码，将多个这样互斥的特征绑定为一个新的特征
• 类别特征可以转换成onehot编码，这些多个特征的onehot编码是互斥的，可以使用EFB将他们绑定为一个特征
• 在LightGBM中，可以直接将每个类别取值和一个bin关联，从而自动地处理它们，也就无需预处理成onehot编码

具体可参考：https://zhuanlan.zhihu.com/p/99069186