LightGBM总结

最新推荐文章于 2023-10-29 21:23:24 发布

happy1yao

最新推荐文章于 2023-10-29 21:23:24 发布

阅读量307

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_41940752/article/details/99494953

版权

LightGBM是微软于2017年开源的梯度提升框架，相比XGBoost，它在速度和内存使用上有了显著提升。LightGBM采用leaf-wise节点分裂策略，使用histogram算法降低计算和存储成本，支持特征并行和数据并行学习，且原生支持类别特征，广泛应用于多种机器学习任务。

摘要由CSDN通过智能技术生成

LightGBM概念
LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。
LightGBM的起源
2014年3月，陈天奇提出XGBOOST。在竞赛中，XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具–LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。因为他是基于决策树算法的，它采用最优的leaf-wise策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是深度方向或者level-wise。因此，在LightGBM算法中，当增长到相同的叶子节点，leaf-wise算法比level-wise算法减少更多的损失。
Histogram VS pre-sorted
xgboost是对特征pre-sorted的方法:在训练之前，预先对数据进行排序，然后保存block结构，后面的迭代中重复的使用这个结构。计算过程中是按照value的排序，逐个数据样本来计算划分收益，这样的算法能够精确的找到最佳划分值，但是代价比较大同时也没有较好的推广性。
LightGBM是histogram算法：将这些精确的连续的特征值分成许多小筒，以每一个桶为bin做直方图，进而在筒上搜索分裂点，减少了计算代价和存储代。而且直方图带来了一定的正则化的效果，能够使我们做出来的模型避免过拟合且具有更好的推广性。
leaf-wise VS level-wise
xgboost用的是level-wise, LightGBM 用得是leaf-wise。leaf-wise是每次从当前所有叶子中ÿ