LightGBM简介
LightGBM是GBDT算法地实现框架之一,设计的初衷是并行、高效。特点是训练速度快、内存消耗小、可并行运算、支持类别变量。
LightGBM优化点
直方图算法
不同于XGBoost的预排序,LightGBM将区间离散化,划分为桶(bin),确定每个样本属于哪个桶。在遍历数据找最优划分点时,只需要遍历每个桶即可。
XGBoost预排序算法每遍历一个特征值就需要计算一次分裂的增益,而直方图算法只需要计算 k k k次( k k k可以认为是常数),时间复杂度从 O ( # d a t a ∗ # f e a t u r e ) O(\#data * \#feature) O(#d