点击率预估算法：FM与FFM

1、FM

1.1 背景

1.1.1 线性模型

常见的线性模型，比如线性回归、逻辑回归等，它只考虑了每个特征对结果的单独影响，而没有考虑特征间的组合对结果的影响。

对于一个有n维特征的模型，线性回归的形式如下：

$$\begin{array}{rl}f(x)& ={\omega }_0+{\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_n{x}_n\\ & ={\omega }_0+\sum _{i=1}^n{\omega }_i{x}_i\end{array}(1)$$

其中$({\omega }_0,{\omega }_1...{\omega }_n)$为模型参数，$(x_1,x_2...x_n)$为特征。
从(1)式可以看出来，模型的最终计算结果是各个特征的独立计算结果，并没有考虑特征之间的相互关系。

举个例子，我们认为“USA”与"Thanksgiving"，”China"与“Chinese new year”这样的组合特征是很有意义的，在这样的组合特征下，会对某些商品表现出更强的购买意愿，而单独考虑国家及节日都是没有意义的。

1.1.2 二项式模型

我们在（1）式的基础上，考虑任意2个特征分量之间的关系，得出以下模型：

$$f(x)={\omega }_0+\sum _{i=1}^n{\omega }_i{x}_i+\sum _{i=1}^{n-1}\sum _{j=i+1}^n{\omega }_{ij}{x}_i{x}_j(2)$$

这个模型考虑了任意2个特征分量之间的关系，但并未考虑更高阶的关系。
模型涉及的参数数量为：
$$1+n+\frac{n(n-1)}{2}=\frac{1}{2}(n^2+n+2)(3)$$

对于参数${\omega }_i$的训练，只要这个样本中对应的$x_i$不为0，则可以完成一次训练。
但对于参数${\omega }_{ij}$的训练，需要这个样本中的$x_i$和$x_j$同时不为0，才可以完成一次训练。
在数据稀疏的实际应用场景中，二次项${\omega }_{ij}$的训练是非常困难的。因为每个${\omega }_{ij}$都需要大量$x_i$和$x_j$都不为0的样本。但在数据稀疏性比较明显的样本中，$x_i$和$x_j$都不为0的样本会非常稀少，这会导致${\omega }_{ij}$不能得到足够的训练，从而不准确。

1.2 FM

1.2.1 FM基本原理

为了解决二项式模型中由于数据稀疏引起的训练不足的问题，我们为每个特征维度$x_i$引入一个辅助向量：

$$V_i=(v_{i1},v_{i2},v_{i3},...,v_{ik}{)}^T\in {\mathbb{R}}^k,i=1,2,3,...,n(4)$$
其中$k$为辅助变量的维度，依经验而定，一般而言，对于特征维度足够多的样本，$k<<n$。
将${\omega }_{ij}$表示为：
$${\omega }_{ij}=V_i^T{V}_j=\sum _{l=1}^k{v}_{il}{v}_{jl}(5)$$
简单的说，我们不再简单的使用样本训练具体的${\omega }_{ij}$，而是先训练2个隐变量$V_i$以及$V_j$，然后使用式（5）求出最终的${\omega }_{ij}$。

具体而言，${\omega }_{ij}=V_i^T{V}_j$与${\omega }_{hi}=V_h^T{V}_i$有相同的项$V_i$，也就是只要样本中的$x_i$不为0，且最少具有一个其它特征，则这个样本则可用于训练$V_i$，这就解决了数据稀疏性导致的问题。

于是，在FM中，模型可以表达为：
$$f(x)={\omega }_0+\sum _{i=1}^n{\omega }_i{x}_i+\sum _{i=1}^{n-1}\sum _{j=i+1}^n(V_i^T{V}_j)x_i{x}_j(6)$$

1.2.2 数据分析

我们的目标是要求得以下交互矩阵W：
$$W={\left(\begin{array}{cccc}{\omega }_{11}& {\omega }_{12}& ...& {\omega }_{1n}\\ {\omega }_{21}& {\omega }_{22}& ...& {\omega }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\omega }_{n1}& {\omega }_{n2}& ...& {\omega }_{nn}\end{array}\right)}_{n\times n}(7)$$

由于直接求解W不方便，因此我们引入隐变量V：
V = ( v 11 v 12 . . . v 1 k v 21 v 22 . . . v 2 k ⋮ ⋮ ⋱ ⋮ v n 1 v n 2 . . . v n k ) n × k = ( V 1 T V 2 T ⋯ V n T ) ( 8 ) V= \begin{pmatrix} v_{11} &amp; v_{12}&amp; ... &amp;v_{1k} \\ v_{21} &amp; v_{22}&amp; ... &amp;v_{2k} \\ \vdots &amp;\vdots &amp;\ddots &amp;\vdots\\ v_{n1} &amp; v_{n2}&amp; ... &amp;v_{nk} \\ \end{pmatrix}_{n\times k}=\begin{pmatrix} V_1^T\\ V_2^T\\ \cdots \\ V_n^T\\ \end{pmatrix} \qquad(8)