LightGBM总结

LightGBM是微软于2017年开源的梯度提升框架,相比XGBoost,它在速度和内存使用上有了显著提升。LightGBM采用leaf-wise节点分裂策略,使用histogram算法降低计算和存储成本,支持特征并行和数据并行学习,且原生支持类别特征,广泛应用于多种机器学习任务。
摘要由CSDN通过智能技术生成
  1. LightGBM概念
    LightGBM是个快速的,分布式的,高性能的基于决策树算法的梯度提升框架。

  2. LightGBM的起源
    2014年3月,陈天奇提出XGBOOST。在竞赛中,XGBoost算法非常热门,它是一种优秀的拉动框架,但是在使用过程中,其训练耗时很长,内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具–LightGBM。在不降低准确率的前提下,速度提升了10倍左右,占用内存下降了3倍左右。因为他是基于决策树算法的,它采用最优的leaf-wise策略分裂叶子节点,然而其它的提升算法分裂树一般采用的是深度方向或者level-wise。因此,在LightGBM算法中,当增长到相同的叶子节点,leaf-wise算法比level-wise算法减少更多的损失。

  3. Histogram VS pre-sorted
    xgboost是对特征pre-sorted的方法:在训练之前,预先对数据进行排序,然后保存block结构,后面的迭代中重复的使用这个结构。计算过程中是按照value的排序,逐个数据样本来计算划分收益,这样的算法能够精确的找到最佳划分值,但是代价比较大同时也没有较好的推广性。
    LightGBM是histogram算法:将这些精确的连续的特征值分成许多小筒,以每一个桶为bin做直方图,进而在筒上搜索分裂点,减少了计算代价和存储代。而且直方图带来了一定的正则化的效果,能够使我们做出来的模型避免过拟合且具有更好的推广性。

  4. leaf-wise VS level-wise
    xgboost用的是level-wise, LightGBM 用得是leaf-wise。leaf-wise是每次从当前所有叶子中ÿ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值