清华大学的研究者在IJCAI2019上提出了一种改进的梯度提升算法，使用分段线性回归树代替传统的分段常数回归树，以提高GBDT的准确性和效率。这种方法通过优化技巧加速训练，利用SIMD并行特性提高速度，并在实验中展示了良好的测试准确率和更快的训练时间。文章还包括详细的技术介绍、实验对比和开源代码链接。
Gradient Boosting with Piece-Wise Linear Regression Trees
Yu Shi , Jian Li and Zhize Li
Tsinghua University
https://www.ijcai.org/proceedings/2019/0476.pdf
GBDT是一种集成学习算法，在很多领域中都取得了不错的效果。近几年，出现了几种比较流行的GBDT改进算法，比如XGBoost，LightGBM以及CatBoost等。
这篇文章通过利用更加复杂的基学习器来提升GBDT的准确率和效率。具体而言即为，将梯度提升中的基学习器，分段常数回归树，扩展为分段线性回归树。分段线性回归树能够加速GBDT的收敛速度，而且可以提升准确率。
作者们还提出一些优化技巧，大幅度加快了分段线性回归树的训练时间，同时使得准确率下降幅度在可接受范围内。此外，作者们还利用具有高效单指令多数据流(SIMD)并行特性的现代计算机结构来加快算法的速度。
实验表明，基于分段线性回归树的GBDT不仅测试准确率可观，而且训练时间更短或者差不多。
这篇文章的思想源于以下几篇文章
该文章的主要贡献总结如下
下面从数学角度简单介绍下GBDT
最低0.47元/天 解锁文章
扫一扫
404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
