机器学习之特征组合、特征交叉

机器学习之特征组合、特征交叉

• 1.为什么需要特征组合、特征交叉？

特征交叉是数据特征的一种处理方式，通过特征组合的方式增加特征的维度，以求得更好的训练效果。
在实际场景中，我们常常遇到这要的情况，线性分类起无法在如下样本中（无法画一条直线将下列黄点和蓝点分开），所以特征组合是一种让线性模型学习到非线性特征的方式：

例如在广告模型中用到了大量的特征组合，因为LR是广告推广中最常用的模型，但LR本身不够复杂，为了使得LR学到更复杂的非线性特征，常常使用原始特征加上特征组合的方式。

• 2.如何做特征组合？
  特征组合的思想很简单，通过将单独的特征进行组合（相乘或求笛卡尔积）而形成的合成特征。
  比如属性A有三个特征，属性B有两个特征，笛卡尔积后就有六个组合特征，然后用one hot 或其他embedding方式给新的特征编码。

• 3.暴力做交叉可能产生稀疏问题。
  这种暴力做交叉很可能导致特征稀疏的问题，这里可以参考FM、FMM以及阿里妈妈发布的MLR的做法和解决思路。

下一章详细讲解FM、FFM的思想。
FM(Factorization Machine)主要目标是：解决数据稀疏的情况下，特征怎样组合的问题。
FMM: 在FM模型中，每一个特征会对应一个隐变量，但在FFM模型中，认为应该将特征分为多个field，每个特征对应每个field分别有一个隐变量。