SparkML -- LightGBM On Spark

介绍

  LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：

• 训练速度更快，效率更高。
• 降低内存使用率。
• 更好的准确性。
• 支持并行和GPU学习。
• 能够处理大规模数据

  LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。官网地址：https://lightgbm.readthedocs.io/en/latest/

MML

  由于LightGBM是python版的，而sparkML并不原生支持LightGBM，所以我们使用了微软的LightGBM On Spark，即MML项目。
  官网地址：https://mmlspark.blob.core.windows.net/website/index.html
  github地址：https://github.com/Azure/mmlspark

maven坐标：

 <dependency>
     <groupId>com.microsoft.ml.spark</groupId>
     <artifactId>mmlspark_2.11</artifactId>
     <version>0.18.0</version>
 </dependency>
 <dependency>
     <groupId>com.microsoft.ml.lightgbm</groupId>
     <artifactId>lightgbmlib</artifactId>
     <version>2.2.350</version>
 </dependency>

相关jar包地址：
mmlspark:https://repo1.maven.org/maven2/com/microsoft/ml/spark/mmlspark_2.11/
lightgbmlib:https://repo1.maven.org/maven2/com/microsoft/ml/lightgbm/lightgbmlib/