记录篇：【百面机器学习】第一章.特征工程---组合特征

场景描述

上一节介绍了如何利用降维方法来减少两个高维特征组合后需要学习的参数。但是在很多实际问题中，我们常常需要面对多种高维特征。如果简单地两两组合，依然容易存在参数过多、过拟合等问题，而且并不是所有的特征组合都是有意义的。因此，需要一种有效的方法来帮助我们找到应该对哪些特征进行组合。

本节介绍一种基于决策树的特征组合寻找方法

以点击预测问题为例，假设原始输入特征包含年龄、性别、用户类型（试用期、付费）、物品类型（护肤、食品等）4 个方面的信息，并且根据原始输入和标签（点击/ 未点击）构造出了决策树，

 于是，每一条从根节点到叶节点的路径都可以看成一种特征组合的方式。具体来说，就有以下4种特征组合的方式。

（1）“年龄<=35”且“性别=女”。

（2）“年龄<=35”且“物品类别=护肤”。

（ 3 ） “ 用户类型 = 付费 ” 且 “ 物品类型 = 食品 ” 。

（ 4 ） “ 用户类型 = 付费 ” 且 “ 年龄 <=40” 。

下表 是两个样本信息，那么第 1 个样本按照上述 4 个特征组合就可以编码为（1, 1, 0, 0 ），因为同时满足（ 1 ）（ 2 ），但不满足（ 3 ）（ 4 ）。同理，第 2 个样本可以编码为（0, 0, 1, 1 ），因为它同时满足（ 3 ）（ 4 ），但不满足（ 1 ）（ 2 ）。