IJCAI2019|新型特征增广GBDT--AugBoost(已开源)

AugBoost: Gradient Boosting Enhanced with Step-Wise Feature Augmentation

Philip Tannor, Lior Rokach

Tel-Aviv University, Ben-Gurion University of the Negev

https://www.ijcai.org/proceedings/2019/0493.pdf

GBDT是一种广泛应用的机器学习算法，在很多任务中都取得了SOTA结果。

这篇文章针对GBDT提出一种特征增广的方法，并且取得了较好的效果。对多种特征增广方法进行了探索，利用神经网络的最后一个隐含层来提取特征，该方法是有监督的；或者利用无监督方法，如PCA或者随机映射将特征空间进行旋转。

作者将这几种方法在20个分类数据集上进行测试，结果优于GBDT及之前的相关方法。

本文主要探索如何针对GBDT进行有监督的特征增广，先前已有针对RF如何进行无监督特征增广。

本文主要贡献如下，提出了AugBoost-ANN, AugBoost-PCA, AugBoost-RP。