组合特征之怎样有效地找到组合特征？

在很多实际问题中，我们常常需要面对多种高维特征。如果简单地两两组合，依然容易存在参数过多、过拟合等问题，而且并不是所有的特征组合都是有意义的。因此，需要一种有效的方法来帮助我们找到应该对哪些特征进行组合。

本节介绍一种基于决策树的特征组合寻找方法。以点击预测问题为例，假设原始输入特征包含年龄、性别、用户类型（ 试用期、付费）、物品类型（ 护肤、食品等）4 个方面的信息，并且根据原始输入和标签（ 点击/ 未点击）构造出了决策树，如图1.2 所示。于是，每一条从根节点到叶节点的路径都可以看成一种特征组合的
方式。具体来说，就有以下4 种特征组合的方式。
( 1 ) “年龄<=35” 且“性别=女” 。
( 2 ) “年龄<=35 ” 且“物品类别=护肤” 。
( 3 ) “用户类型=付费” 且“物品类型= 食品” 。
( 4 ) “用户类型=付费” 且“年龄<=40” 。

 

给定原始输入该如何有效地构造决策树呢？可以采用梯度提升决策树， 该方法的思想是每次都在之前构建的决策树的残差上构建下一棵决策树。