GBDT模型构造新特征

GBDT:

1、回归树、提升树和梯度提升树

（1）回归树

　　GBDT中的树是回归树，不是决策树，用来做回归预测，调整后也可以用于分类； 

　　回归树分支时穷举每一个feature的每一个阈值寻找最好的分割点，衡量好坏的标准不是最大熵，而是最小化平方误差；

（2）提升树

　　迭代多棵回归树来共同决策；

GBDT是如何衡量特征的重要性的:

1.计算所有的非叶子节点在分裂时加权不纯度的减少，减少得越多说明特征越重要。

2.不纯度的减少实际上就是该节点此次分裂的收益，因此我们也可以这样理解，节点分裂时收益越大，该节点对应的特征的重要度越高。

在实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话：

特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同而已。

在这里将要介绍一下Facebook最近发表的利用GBDT模型构造新特征的方法：

论文的思想很简单，就是先用已有特征训练GBDT模型，然后利用GBDT模型学习到的树来构造新特征，最后把这些新特征加入原有特征一起训练模型。构造的新特征向量是取值0/1的，向量的每个元素对应于GBDT模型中树的叶子结点