AugBoost: Gradient Boosting Enhanced with Step-Wise Feature Augmentation
Philip Tannor, Lior Rokach
Tel-Aviv University, Ben-Gurion University of the Negev
https://www.ijcai.org/proceedings/2019/0493.pdf
GBDT是一种广泛应用的机器学习算法,在很多任务中都取得了SOTA结果。
这篇文章针对GBDT提出一种特征增广的方法,并且取得了较好的效果。对多种特征增广方法进行了探索,利用神经网络的最后一个隐含层来提取特征,该方法是有监督的;或者利用无监督方法,如PCA或者随机映射将特征空间进行旋转。
作者将这几种方法在20个分类数据集上进行测试,结果优于GBDT及之前的相关方法。
本文主要探索如何针对GBDT进行有监督的特征增广,先前已有针对RF如何进行无监督特征增广。
本文主要贡献如下,提出了AugBoost-ANN, AugBoost-PCA, AugBoost-RP。