FM 模型推导

FM 模型推导

论文地址：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf

在使用 LR 的时候，要进行大量的特征工程，如对离散值进行独热编码，在进行大量的独热编码之后，特征矩阵会变得非常稀疏。在特征创建的时候，两两特征进行组合，由于特征向量过于稀疏，无法学习到很多组合特征的权重，FM 模型在 LR 模型的基础上，多了特征两两组合的部分，需要比 LR 多学习对应参数的权重。

只讨论二阶特征组合的情况

• LR 多了两两特征组合的形式如下 ，$n$ 是特征向量的维度：

$$\hat{y}={\omega }_0+\sum _{i=1}^n{\omega }_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{\omega }_{ij}{x}_i{x}_j$$

• 假设每个特征有它对应的隐因子向量，那么 ${\omega }_{ij}$ 就可以用两个特征对应的 $k$ 纬隐因子向量 $v_i$, $v_j$ 的内积表示

$$\hat{y}={\omega }_0+\sum _{i=1}^n{\omega }_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$

• 这里 ${\sum }_{i=1}^n{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j$ 的部分可以进行优化，先贴上论文里面的推导，step by step

Step 1

特征要两两进行组合，肯定是不考虑重复的情况，所以开始的时候 ${\sum }_{i=1}^n{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j$ 的 $j$ 从 $i+1$ 开始。现在 $j$ 的下标变为从 $1$ 开始，那么 $<v_i,v_j>$ 和 $<v_j,v_i>$ 都要算一遍，这俩计算结果是一样的，只算一遍即可，整体除以 $2$ ，因为原来 $<v_i,v_i>$ 是不算的，现在算上了，所以要减去 $<v_i,v_i>$

Step 2

这里就是把 $k$ 纬的隐因子向量展开

Step 3

• 提 ${\sum }_{f=1}^k$

$$=\frac{1}{2}\sum _{f=1}^k(\sum _{i=1}^n\sum _{j=1}^n{v}_{i,f}{v}_{j,f}{x}_i{x}_j-\sum _{i=1}^n{v}_{i,f}{v}_{i,f}{x}_i{x}_i)$$

• 只看里面的 ${\sum }_{i=1}^n{\sum }_{j=1}^n{v}_{i,f}{v}_{j,f}{x}_i{x}_j$
  ${\sum }_{j=1}^n{v}_{i,f}{v}_{j,f}{x}_i{x}_j$ 因为里面的 $v_{i,f}{x}_i$ 对于此处来说相当于常量，提到外面，变为 $v_{i,f}{x}_i{\sum }_{j=1}^n{v}_{j,f}{x}_j$ ，所以变为：

$$\sum _{i=1}^n\sum _{j=1}^n{v}_{i,f}{v}_{j,f}{x}_i{x}_j=\sum _{i=1}^n{v}_{i,f}{x}_i\sum _{j=1}^n{v}_{j,f}{x}_j$$

Step 4

这里 ${\sum }_{i=1}^n{v}_{i,f}{x}_i$ 和 ${\sum }_{j=1}^n{v}_{j,f}{x}_j$ 其实只是下标的名字不一样而已，对应的隐因子向量的每个元素是一样的，so ${\sum }_{i=1}^n{v}_{i,f}{x}_i$ 和 ${\sum }_{j=1}^n{v}_{j,f}{x}_j$ 是同一个东西，这样的话，只需要计算一次的 ${\sum }_{i=1}^n{v}_{i,f}{x}_i$ 就可以了

到这样，计算 ${\sum }_{i=1}^n{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j$ 的复杂度，就从 $O(k{n}^2)$ 变为了 $O(kn)$

后面把这个 $\hat{y}$ 代入 Sigmoid 函数，使用 logistic 损失函数，然后梯度下降求解 ${\omega }_i$ 和 $v_{i,f}$ 即可。