lightGBM原理、改进简述

1. foreword

TSA比赛中，开始整的LR，把原始特征one-hot处理后输入LR训练。过了段时间开始搞RF和XGB，再后面搞LightGBM。

2. lightGBM简介

xgboost的出现，让数据民工们告别了传统的机器学习算法们：RF、GBM、SVM、LASSO……..。现在微软推出了一个新的boosting框架，想要挑战xgboost的江湖地位。

顾名思义，lightGBM包含两个关键点：light即轻量级，GBM 梯度提升机。

LightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的，有以下优势：

• 更快的训练效率

• 低内存使用

• 更高的准确率

• 支持并行化学习

• 可处理大规模数据

与常用的机器学习算法进行比较：速度飞起

3. xgboost缺点

XGB的介绍见