机器学习(6)--LightGBM

0.引言

　　如果你是一个机器学习社区的活跃成员，你一定知道 提升机器（Boosting Machine）以及它们的能力。提升机器从AdaBoost发展到目前最流行的XGBoost。XGBoost实际上已经成为赢得在Kaggle比赛中公认的算法。这很简单，因为他极其强大。但是，如果数据量极其的大，XGBoost也需要花费很长的时间去训练。 
　　 
　　绝大多数人可能对 Light Gradient Boosting 不熟悉，但是读完本文后你就会对他们很熟悉。一个很自然的问题将进入你的思索：为什么又会出现另一个提升机器算法？它比XGBoost要好吗？

注意：本文假设读者已经对 GBMs 和 XGBoost 算法有一定的了解。如果你不了解他们，请先了解一下他们的原理再来学习本文。

1. 什么是LightGBM

　　 
　　LightGBM是个快速的、分布式的、高性能的基于决策树算法的梯度提升框架。可用于排序、分类、回归以及很多其他的机器学习任务中。 
　　 
　　因为他是基于决策树算法的，它采用最优的leaf-wise策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是depth-wise或者level-wise而不是leaf-wise。因此，在LightGBM算法中，当增长到相同的叶子节点，leaf-wise算法比level-wise算法减少更多的loss。因此导致更高的精度，而其他的任何已存在的提升算法都不能够达。与此同时，它的速度也让人感到震惊，这就是该算法名字 Light 的原因。 
　　 
　　前文是一个由LightGBM算法作者的概要式的描述来简要地解释LightGBM的不同之处。

• XGBoost中决策树的增长方式示意图

 

 

• LightGBM中决策树的增长方式示意图

　　Leaf-Wise分裂导致复杂性的增加并且可能导致过拟合。但是这是可以通过设置另一个参数 max-depth 来克服，它分裂产生的树的最大深度。 
　　 
　　接下来我们将介绍安装LightGBM的步骤使用它来跑一个模型。我们将对比LightGBM和XGBoost的实验结果来证明你应该使用LightGBM在一种轻轻的方式（Light Manner）。

2. LightGBM的优势

首先让我们看一看LightGBM的优势。

1. 更快的训练速度和更高的效率： LightGBM使用基于直方图的算法。例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。

2. 更低的内存占用：使用离散的箱子(bins)保存并替换连续值导致更少的内存占用。

3. 更高的准确率(相比于其他任何提升算法) : 它通过leaf-wise分裂方法产生比level-wise分裂方法更复杂的树，这就是实现更高准确率的主要因素。然而，它有时候或导致过拟合，但是我们可以通过设置 max-depth 参数来防止过拟合的发生。

4. 大数据处理能力: 相比于XGBoost，由于它在训练时间上的缩减，它同样能够具有处理大数据的能力。

5. 支持并行学习

3. 安装LightGBM

　　本节介绍如何在各种操作系统下安装LightGBM。众所周知，桌面系统目前使用最多的就是Windows、Linux和macOS，因此，就依次介绍如何在这三种操作系统下安装LightGBM。

3.1 Windows

　　对于Windows操作系统，由于其并非开源操作系统，因此一直以来Windows系统对开发者来说并不友好。我们需要安装相应的编译环境才能对LightGBM源代码进行编译。对于Windows下的底层C/C++编译环境，目前主要有微软自己的Visual Studio（或者MSBuild）或者开源的MinGW64，下面我们依次介绍这两种编译环境下的LightGBM的安装。 
　　 
　　注意，对于以下两种编译环境，我们都共同需要确保系统已经安装Windows下的Git和CMake工具。

• 3.1.1 基于Visual Studio（MSBuild）环境

git clone --recursive https://github.com/Microsoft/LightGBM
cd LightGBM
mkdir build
cd build
cmake -DCMAKE_GENERATOR_PLATFORM=x64 ..
cmake --build . --target ALL_BUILD --config Release

最终编译生成的exe和dll会在 LightGBM/Release 目录下。

• 3.1.2 基于MinGW64环境