[KO机器学习] Day4 特征工程：如何有效地找到组合特征？

场景描述：

昨天更新了如何利用降维方法来减少两个高维特征组合后需要学习的参数，还没看过的同学可以到主页查看Day3。但是在很多实际问题中，我们常常需要面对多种高维特征。如何简单地两两组合，依然容易存在参数过多、过拟合等问题，而且并不是所有的特征组合都是有意义的。因此，需要一种有效的方法来帮助我们找到应该对哪些特征进行组合。

怎么样有效地找到组合特征呢？难度：★★☆☆☆

本文介绍一种基于决策树的特征组合寻找方法（关于决策树的详细内容过段时间为大家更新）。以点击预测问题为例，假设原始输入特征包含年龄、性别、用户类型（试用期、付费）、物品类型（护肤、食品等）4个方面的信息，并且根据原始输入和标签（ 点击 / 未点击 ）构造出了决策树，如下图所示。

图1 基于决策树的特征组合方法