LightGBM介绍、原理与实战

Mac上安装

官网链接
中文网站链接
微软官方介绍

#先安装cmake和gcc,安装过的直接跳过前两步
brew install cmake
brew install gcc
 
git clone --recursive https://github.com/Microsoft/LightGBM 
cd LightGBM

#在cmake之前有一步添加环境变量
export CXX=g++-8 CC=gcc-8
mkdir build ; cd build
 
cmake ..
make -j4

# 然后在python中安装lightgbm
pip3 install --no-binary :all: lightgbm

上面是正确的步骤,
import lightgbm时可能会出现如下的bug:

OSError: dlopen(/usr/local/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so, 6): Library not loaded: /usr/local/opt/gcc/lib/gcc/7/libgomp.1.dylib
  Referenced from: /usr/local/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so
  Reason: image not found

出现bug解决方案

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LightGBM(Light Gradient Boosting Machine)是一种基于梯度提升决策树(Gradient Boosting Decision Tree,GBDT)的机器学习算法。它是由微软研究院开发的,旨在提供高效且准确的梯度提升决策树实现。 LightGBM原理主要有以下几个方面: 1. GBDT:LightGBM基于梯度提升决策树,它是一种集成学习算法。GBDT通过迭代训练弱分类器(决策树),每一次迭代都尝试修正前一次迭代的残差,最终将多个弱分类器的预测结果加权求和得到最终的预测结果。 2. 垂直并行:LightGBM采用了垂直并行的方式构建决策树。传统的GBDT算法是使用水平并行的方法,即按层计算每个节点的增益,然后构建多棵树。而LightGBM则采用了垂直并行的方法,先对特征进行预排序,然后按照特征列进行拆分,实现了基于列的并行计算,提高了训练效率。 3. Leaf-wise生长策略:LightGBM采用了一种称为Leaf-wise的生长策略。传统的决策树算法是深度优先生长,每次从当前节点选择一个最好的分裂点进行划分。而Leaf-wise生长策略是每次选择当前最大增益的叶子节点进行分裂,这样可以更快地找到最优分裂点,但也容易过拟合。因此LightGBM采用了一些正则化技巧来控制过拟合。 4. 直方图优化:LightGBM使用直方图来对特征值进行离散化,将连续特征转换为分段离散特征。这样可以减少内存消耗和计算量,并且在寻找最佳分裂点时可以使用直方图的信息,进一步提高训练效率。 综上所述,LightGBM通过垂直并行、Leaf-wise生长策略和直方图优化等技术,实现了高效且准确的梯度提升决策树算法,成为了机器学习领域中重要的算法之一。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值