一、LightGBM是什么
LightGBM,英文全称Light Gradient Boosting Machine,本质上与xgboost一样,都是GBDT的算法实现。
那么,什么是GBDT呢?
英文全称是Gradient Boosting Decision Tree,本质上是一种Boosting算法的决策树。
那么,什么是Boosting算法呢?
Boosting算法属于集成学习的一种。首先使用初始权重从训练集中训练出一个弱学习器,根据弱学习器的学习误差率来更新样本的权重,提高之前弱学习器学习率较高的训练样本点的权重,使得这些误差率高的样本在后面的弱学习器中得到更多的重视。如此循环,直到得到指定数量的学习器,再通过结合策略进行整合,得到最终的强学习器。
那么,什么是集成学习呢?
通过构建并结合多个机器学习器来完成学习任务,首先通过训练集数据训练得到若干个个体学习器,再通过一定的结合策略,最终形成一个强学习器,达到博采众长的目的。
那么,总得来说,LightGBM是一种基于Boosting算法的集成树模型。
<【背景介绍】
LightGBM是微软旗下的Distributed Machine Learning Toolkit (DMKT)的一个项目,由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖主持开发。虽然其开源时间才仅仅2个月,但是其快速高效的特点已经在数据科学竞赛中崭露头角。Allstate Claims Severity竞赛中的冠军解决方案里就使用了LightGBM,并对其大嘉赞赏。