这是数据应用学院8/4 Live:数据科学家常用工具XGBoost与LightGBM大比拼,性能与结构的笔记。
https://www.youtube.com/watch?v=dOwKbwQ97tI
Xgboost, lightgbm, catboost实际上是对GBDT方法的不同实现,它们针对同一目标、做了不同的优化处理。
XGboost作为最早出现的库,优化做得稍微少一些,但总体而言,它们都对基础的GBDT方法做了不同的优化。
首先,它们在基础逻辑上并没有什么不同,我们限定max_trees或者max_iterations,之后算法从0棵树开始跑,每一轮根据上一轮的残差增加一棵决策树。在每一次增加决策树的时候,选择当前的最优结构。而在生成当前决策树的过程中,各个算法采用了不同的优化方案。
在生成每一棵决策树时,我们从一棵空决策树开始,不断地