[推荐系统] 手撕FM模型

基本形式

FM模型在线性模型的基础上，增加了一个二次项：

$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^{n-1}\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j$$

$w_0$ 是常数项，这里有1个参数需要训练；

${\sum }_{i=1}^n{w}_i{x}_i$ 是常见的一次线性模型，这里有n个$w_i$需要训练；

${\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{w}_{ij}{x}_i{x}_j$ 也就是n个特征之间两两组合，所以这里共有$\frac{n\times (n-1)}{2}$个$w_{ij}$需要训练 。

总共有$1+n+\frac{n\times (n-1)}{2}$个参数。

优化改进

存在问题：参数$w_{ij}$学习困难，$\frac{\partial L}{\partial w_{ij}}=x_i{x}_j$ ，由于特征稀疏，$x_i$和$x_j$同时非0的情况很少，所以参数$w_{ij}$很难得到更新。

改进方法：将$w_{ij}$表示成两个向量的内积，也就是：
$$w_{ij}=<v_i,v_j>$$

对二次项进行变形化简：

$$\begin{array}{rl}\sum _{i=1}^{n-1}\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j& =\sum _{i=1}^{n-1}\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j\\ & =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n<v_i,v_j>x_i{x}_j-\sum _{i=1}^n<v_i,v_i>x_i{x}_i)\\ & =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{j,f}{x}_i{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{i,f}{x}_i{x}_i)\\ & =\frac{1}{2}\sum _{f=1}^k\left[(\sum _{i=1}^n{v}_{i,f}{x}_i)\cdot (\sum _{j=1}^n{v}_{j,f}{x}_j)-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2\right]\\ & =\frac{1}{2}\sum _{f=1}^k\left[(\sum _{i=1}^n{v}_{i,f}{x}_i{)}^2-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2\right]\end{array}$$

所以最终模型的假设函数是：
$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\frac{1}{2}\sum _{f=1}^k\left[(\sum _{i=1}^n{v}_{i,f}{x}_i{)}^2-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2\right]$$
这里需要训练的参数有$1+n+kn$个。

损失函数

假设标签值取值范围{-1,1}，则损失函数定义为：
$$L=-\sum _{i=1}^{m}ln\sigma (y^{(i)}\cdot {\hat{y}}^{(i)})$$
其中$\sigma (y)=\frac{1}{1+e^{-y}}$

求梯度

$$\begin{array}{rl}\frac{\partial L}{\partial \theta }& =\frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta }\\ & =?\end{array}$$

首先看$\frac{\partial L}{\partial y}$：

也就是类似对$y=ln(\frac{1}{1+e^{-ax}})$求导数。

$$\begin{array}{rl}\frac{\partial L}{\partial \theta }& =\frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta }\\ & =-(1-\frac{1}{1+e^{-y^{(i)}{\hat{y}}^{(i)}}})\cdot y^{(i)}\cdot \frac{\partial y}{\partial \theta }\end{array}$$

然后看$\frac{\partial y}{\partial \theta }$：

$$f(x)=\{\begin{array}{rlrl}& 1,& & if\theta =w_0\\ & x_i,& & if\theta =w_i\\ & x_i\sum _{j=1}^n{v}_{j,f}{x}_j-v_{i,f}{x}_i^2,& & if\theta =v_{i,f}\end{array}$$
其中二次项的求导比较难理解：
$$\begin{array}{rl}& \frac{\partial (\frac{1}{2}{\sum }_{f=1}^k\left[({\sum }_{i=1}^n{v}_{i,f}{x}_i{)}^2-{\sum }_{i=1}^n{v}_{i,f}^2{x}_i^2\right])}{\partial (v_{i,f})}\\ & =\frac{1}{2}\left[2\cdot (\sum _{i=1}^n{v}_{i,f}{x}_j)\cdot x_i-2\cdot x_i^2\cdot v_{i,f}\right]\\ & =(\sum _{j=1}^n{v}_{j,f}{x}_j)\cdot x_i-v_{i,f}{x}_i^2\end{array}$$
第一个等号；第二个等号，因为求导跟$i$无关，所以换个符号以示区分。

参考：
[1] FM因子分解机的原理、公式推导、Python实现和应用
[2] DeepFM算法解析及Python实现
[3] FM因式分解(原理+代码)