因子分解机公式推导（Factorization Machine）

基本定义

在逻辑回归的分类公式中，传入给sigmoid函数的参数是特征的线性组合，计算如公式1所示。该公式的不足之处是没有考虑特征间的相互作用，而特征的相互作用（即特征交叉）是很重要的，例如在CTR预估场景，性别和购买行为就有很强的关联性，女性更愿意购买化妆品，而男性更愿意购买运动产品。为了考虑特征的相互作用，因子分解机（Factorization Machine，简称FM）显示地对两两特征交叉进行建模，计算如公式2所示。
$$\begin{array}{rl}y(\mathbf{x})& =w_0+\sum _{i=1}^n{w}_i{x}_i\end{array}\text{\hspace{1em}(1)}$$

$$\begin{array}{rl}y(\mathbf{x})& =w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j\end{array}\text{\hspace{1em}(2)}$$

对于离散特征而言，特征通常通过one-hot进行编码，one-hot编码后样本变得很稀疏，其中很多特征的取值为0，取值为1的特征只占很少部分。对于这样的样本，在学习交叉特征的权重$w_{ij}$时会变得困难，例如当样本的特征$x_i$和特征$x_j$取值为0时，权重$w_{ij}$无法学习。为了更好的学习交叉特征的权重，需要对权重矩阵分解，分解后权重$w_{ij}$可以表示为两个隐向量的内积，计算如公式3所示。

$$\begin{array}{rl}y(\mathbf{x})& =w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<{\mathbf{v}}_i,{\mathbf{v}}_j>x_i{x}_j\end{array}\text{\hspace{1em}(3)}$$

其中隐向量${\mathbf{v}}_i$可以表示为${\mathbf{v}}_i$=($v_{i,1}$,$v_{i,2}$,…,$v_{i,k}$)，k为隐向量的维度，进一步可以得到因子分解机(FM)的计算公式。

$$\begin{array}{rl}y(\mathbf{x})& =w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n\sum _{t=1}^k{v}_{i,t}{v}_{j,t}{x}_i{x}_j\end{array}\text{\hspace{1em}(4)}$$

数学推导

首先公式4中的交叉项可以推导简化，具体推导过程如下：

$$\begin{array}{rl}\sum _{i=1}^n\sum _{j=i+1}^n<{\mathbf{v}}_i,{\mathbf{v}}_j>x_i{x}_j& =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n<{\mathbf{v}}_i,{\mathbf{v}}_j>x_i{x}_j-\sum _{i=1}^n<{\mathbf{v}}_i,{\mathbf{v}}_i>x_i{x}_i)\\ & =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n\sum _{t=1}^k{v}_{i,t}{v}_{j,t}{x}_i{x}_j-\sum _{i=1}^n\sum _{t=1}^k{v}_{i,t}{v}_{i,t}{x}_i{x}_i)\\ & =\frac{1}{2}\sum _{t=1}^k(\sum _{i=1}^n\sum _{j=1}^n{v}_{i,t}{v}_{j,t}{x}_i{x}_j-\sum _{i=1}^n{v}_{i,t}{v}_{i,t}{x}_i{x}_i)\\ & =\frac{1}{2}\sum _{t=1}^k((\sum _{i=1}^n{v}_{i,t}{x}_i)(\sum _{j=1}^n{v}_{j,t}{x}_j)-\sum _{i=1}^n{v}_{i,t}^2{x}_i^2)\\ & =\frac{1}{2}\sum _{t=1}^k((\sum _{i=1}^n{v}_{i,t}{x}_i{)}^2-\sum _{i=1}^n{v}_{i,t}^2{x}_i^2)\end{array}$$

为了求得最优的参数$w_i$和$v_{i,t}$，可以应用随机梯度下降算法对参数求偏导数，具体的推导公式如下：

$$\frac{\partial y(\mathbf{x})}{\partial \theta }=\{\begin{array}{ll}1& if\theta =w_0\\ x_i& if\theta =w_i\\ x_i{\sum }_{i=1}^n{v}_{i,t}{x}_i-v_{i,t}{x}_i^2& if\theta =v_{i,t}\end{array}$$

将求得的偏导带入梯度下降公式，可以得到参数$\theta$的更新公式如下：

$$\begin{array}{r}\theta :=\theta -\alpha \frac{\partial y(\mathbf{x})}{\partial \theta }\end{array}\text{\hspace{1em}(5)}$$

代码实现

相关代码实现后面统一发布到github上面。