Gradient Boosting with Piece-Wise Linear Regression Trees
Yu Shi , Jian Li and Zhize Li
Tsinghua University
https://www.ijcai.org/proceedings/2019/0476.pdf
GBDT是一种集成学习算法,在很多领域中都取得了不错的效果。近几年,出现了几种比较流行的GBDT改进算法,比如XGBoost,LightGBM以及CatBoost等。
这篇文章通过利用更加复杂的基学习器来提升GBDT的准确率和效率。具体而言即为,将梯度提升中的基学习器,分段常数回归树,扩展为分段线性回归树。分段线性回归树能够加速GBDT的收敛速度,而且可以提升准确率。
作者们还提出一些优化技巧,大幅度加快了分段线性回归树的训练时间,同时使得准确率下降幅度在可接受范围内。此外,作者们还利用具有高效单指令多数据流(SIMD)并行特性的现代计算机结构来加快算法的速度。
实验表明,基于分段线性回归树的GBDT不仅测试准确率可观,而且训练时间更短或者差不多。
这篇文章的思想源于以下几篇文章
该文章的主要贡献总结如下
下面从数学角度简单介绍下GBDT