GBDT做特征选择

对于单颗树，我们要计算特征j在单颗树中的重要度，就是计算特征j在单颗树中带来的收益之和。

那对于集成学习，假设有T棵树，那么我们就每颗决策树中的每个特征重要程度加和除以T，就是每个特征的重要程度。

 

那么决策树或者基于决策树的GBDT可以在训练完后，根据计算好的feature_importance去选择分值大和分值小的，从而进行合理降维。