Factorization Machines

论文链接：
https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf

主要内容

Factorization Machines (FM)结合了Support Vector Machines (SVM) 和factorization models（分解模型）的优点，解决了数据稀疏的情况下，特征怎样组合的问题
FM至少有以下三个优点：
1.稀疏性系统中仍然能够得到合理的参数估计
2.在线性复杂度内计算FM模型，且不需要转化为对偶问题，也不需要存除部分原始数据（SVM中的支持向量）
3.FM是通用的分解模型，不仅适用于特定问题

具体流程与推导

一般的线性模型没有考虑特征之间的关联。为了表述特征间的相关性，我们采用多项式模型。在多项式模型中，特征$x_i$与$x_j$的组合用$x_i{x}_j$表示。为了简单起见，我们讨论二阶多项式模型。
$$\hat{y}(\mathbf{x}):=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j$$

特征组合部分的参数有$\frac{n(n-1)}{2}$个。如果特征非常稀疏且维度很高的话，时间复杂度将大大增加。
为了降低时间复杂度，对每一个特征，引入辅助向量lantent vector $$V_i={\left[v_{i1},v_{i2},\dots ,v_{ik}\right]}^T$$
模型修改如下：

$$\hat{y}(\mathbf{x}):=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩x_i{x}_j$$
FM模型的表达式就是上式。k是超参数，即lantent vector的维度，一般取较小值。上式直接计算的话，时间复杂度是$O(k{n}^2)$, 通过如下方式化简复杂度可以降为$O(kn)$。

$$\begin{array}{rl}& \sum _{i=1}^n\sum _{j=i+1}^n⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩x_i{x}_j\\ =& \frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩x_i{x}_j-\frac{1}{2}\sum _{i=1}^n⟨{\mathbf{v}}_i,{\mathbf{v}}_i⟩x_i{x}_i\\ =& \frac{1}{2}\left(\sum _{i=1}^n\sum _{j=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{j,f}{x}_i{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{i,f}{x}_i{x}_i\right)\\ =& \frac{1}{2}\left(\sum _{i=1}^n\sum _{j=1}^n{v}_{i,f}{x}_i\right)\left(\sum _{j=1}^n{v}_{j,f}{x}_j\right)-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2)\\ =& \frac{1}{2}\sum _{f=1}^k\left({\left(\sum _{i=1}^n{v}_{i,f}{x}_i\right)}^2-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2\right)\end{array}$$

由于$\mathbf{x}$的稀疏性，只需要计算$\mathbf{x}$中非零元素，这个值为$O(k{\overline{m}}_D)$，${\overline{m}}_D$为训练即中$\mathbf{x}$平均非零元素个数，一般为2左右

具体代码详见：
https://github.com/DrWelles/CTR_Prediction

更高维度的相关性扩展如下：
$$\begin{array}{rl}\hat{y}& (x):=w_0+\sum _{i=1}^n{w}_i{x}_i\\ & +\sum _{l=2}^d\sum _{i_1=1}^n\dots \sum _{i_l=i_{l-1}+1}^n\left(\prod _{j=1}^l{x}_{i_j}\right)\left(\sum _{f=1}^{k_l}\prod _{j=1}^l{v}_{i_j,f}^{(l)}\right)\end{array}$$
复杂度为$O(k_d{n}^d)$

相对于SVM

1）支持向量机的密集参数化，其在稀疏环境中不能提供较好的参数估计。 即使在稀疏度下，也可以很好地估计FM的参数。
2）FM可以在主问题中直接学习。 非线性SVM通常在对偶问题中学习。
3）FMs的模型方程独立于训练数据。 使用SVM进行预测取决于训练数据的部分（支持向量）。

相对于其他分解模型

以上省略若干字，详见原文
1）PARAFAC、MF这样的标准分解模型不是像FM那样的通用预测模型。 相反，它们要求特征向量以m个部分划分，并且在每个部分为one-hot编码。
2）针对单个任务设计的专门因子分解模型有很多提议。 论文证明，FM可以通过特征提取模拟许多最成功的分解模型（包括MF，PARAFAC，SVD ++，PITF，FPMC），这使得FM在实践中很容易应用。