FM算法原理

FM演变过程：线性模型->二项式模型->FM模型

• 线性模型
  $f(x)={\omega }_0+{\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_n{x}_n={\omega }_0+{\sum }_{i=1}^n{\omega }_i{x}_i$

• 二项式模型
  $f(x)={\omega }_0+{\sum }_{i=1}^n{\omega }_i{x}_i+{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{\omega }_{ij}{x}_i{x}_j$
  考虑了任意2个特征分量之间的关系

但是，训练${\omega }_{ij}$参数需要$x_i$和$x_j$同时不为0，但在特征非常稀疏的情况下，满足条件的样本数量特别少，所以该参数不能得到足够的训练，不准确。FM基于二项式模型做了改进

• FM模型
  目标是要求${\omega }_{ij}$，也就是：

$W={\left(\begin{array}{cccc}{\omega }_{11}& {\omega }_{12}& ...& {\omega }_{1n}\\ {\omega }_{21}& {\omega }_{22}& ...& {\omega }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\omega }_{n1}& {\omega }_{n2}& ...& {\omega }_{nn}\end{array}\right)}_{n\times n}$

引入隐变量：

为每个特征维度$x_i$引进辅助向量：
$V_i=(v_{i1},v_{i2},v_{i3},...,v_{ik}{)}^T\in {\mathbb{R}}^k,i=1,2,3,...,n$

$V={\left(\begin{array}{cccc}{v}_{11}& v_{12}& ...& v_{1k}\\ v_{21}& v_{22}& ...& v_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ v_{n1}& v_{n2}& ...& v_{nk}\end{array}\right)}_{n\times k}=\left(\begin{array}{c}{V}_1^T\\ V_2^T\\ \cdots \\ V_n^T\end{array}\right)$

$V{V}^T=W$ 也就是转换为求$V$

FM模型即为：
$f(x) = \omega_0+\sum_{i=1}^{n\omega_ix_i+\sum_{i=1}}{n-1}\sum_{j=i+1}^n(V_iTV_j)x_ix_j $

$v_i$对应$x_i$的k维embedding表示，FM可进一步表示为：
$f(x)={\omega }_0+{\sum }_{i=1}^n{\omega }_i{x}_i+{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j$

其中：

${\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{x}_i{x}_j=\frac{1}{2}[({\sum }_{i=1}^n{x}_i{)}^2-{\sum }_{i=1}^n(x_i^2)]$

${\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j=\frac{1}{2}{\sum }_{j=1}^k[{\sum }_{i=1}^n(v_{i,j}{x}_i{)}^2-{\sum }_{i=1}^n(v_{i,i}^2{x}_i^2)]$
(详细推导过程)