推荐算法学习笔记1.4:传统推荐算法-自动特征的交叉解决方案：FM→FFM

2.1.4 自动特征的交叉解决方案：FM→FFM

逻辑回归使用了单一特征的加权组合特征，其表达能力受制，即无法进行特征交叉，所以可能导致有效信息的损失。考虑到以下背景（辛普森悖论）：

由此看来，仅使用单一特征的逻辑回归会丢失特征交叉所产生的信息，从而导致错误的预测。

• POLY2模型

  针对特征交叉的问题，POLY2模型通过计算向量的二次型函数，对两两特征进行了”暴力“组合，从而将算法工程师从繁琐的手工组合工作解救出来。其公式如下：

$$POLY2(\mathbf{w},\mathbf{x})=\sum _{i=1,\dots ,m}\sum _{j=i+1,\dots ,m}{w}_{i,j}{x}_i{x}_j={\mathbf{x}}^{\mathbf{T}}\mathbf{Wx}$$

其中$\mathbf{W}$是$n\times n$的严格上三角矩阵,其空间复杂度为$O(n^2)$, 具体的说当使用稀疏矩阵时，复杂度是$\frac{n(n-1)}{2}$。

优点：解决了特征交叉的问题，训练方法与逻辑回归没有区别，所以兼容使用了逻辑回归的工程。

缺点：权重参数从n上升到n方，极大的增加了训练复杂度。POLY2进行无选择的特征交叉，可能使得原本稀疏向量更加稀疏，相当于存在一个特征向量$z=[x_1{x}_1,x_1{x}_2,\dots ,x_n{x}_n{]}^T$。

• FM模型

  于是我们可以求得$n$个维度为$k$的隐向量表示权重矩阵从而将空间复杂度降低至$O(kn)$，即FM模型，其公式化表达为，

  值得注意的是，由于引入one-hot编码技术，由一个属性导出的特征$x_i$和特征$x_j$在某一特征子空间正交。

  $$FM(\text{W},\text{x})=\sum _{i=1,\dots ,m}\sum _{j=i+1,\dots ,m}{\text{w}}_i^T{\text{w}}_j{x}_i{x}_j$$

  优点：通过引入特征隐向量的方式，降低了POLY2模型$n^2$级别的权重参数量，同时更好地解决了数据稀疏性的问题，即对比起POLY2，权重$w_{i,j}$只能由同时存在特征$x_i$和$x_j$的样本训练得到，FM的权重$w_{i,j}$可以由所有出现特征$x_i$或所有出现特征$x_j$的样本训练得到，这提高了模型的泛化能力。该算法也是基于梯度下降法的，同样易于工程化。

  缺点：相比于POLY2，FM使用更低维的特征隐向量表示基向量，丢失了某些具体特征组合的精确记忆能力。

• FFM模型

  POLY2模型从矩阵论的角度，是通过$Rank(\mathbf{W})\le n$的二次型矩阵（参数矩阵）$W$进行特征交叉，于是我们可以求得$n$个维度为$k$的隐向量表示该矩阵从而将空间复杂度降低至$O(kn)$（跟矩阵分解算法相似），即FM模型，其公式化表达为，

  $$FFM(\text{W},\text{x})=\sum _{i=1,\dots ,m}\sum _{j=i+1,\dots ,m}{\text{w}}_{i,do{m}_j}^T{\text{w}}_{j,,do{m}_i}{x}_i{x}_j$$

  上式表现出了FFM模型对各个特征维护了一组隐向量，当特征$x_i$与特征$x_j$组合时，通过在特征$x_i$的隐向量组中挑选与j匹配的隐向量，同时在特征$x_j$的隐向量组中挑选与i匹配的隐向量计算权重，从而将特征域这一先验知识导入模型。

  优点：为模型引入了更多有价值的信息，增强了模型的表达能力。

  缺点：FFM模型的存储空间需求相较于FM增大了$d$倍（$d$为特征域数量），权重的计算复杂度上升为$k{n}^2$。

  附录：

  附1: 特征域解释