Datewhale组队学习——深度学习推荐系统（4）

模型背景

web应用程序的变量大部分是离散的、非连续的。在稀疏的数据中建立模型，需要挖掘出特征之间的关联。很多成功的算法依靠手动进行特征组合，这类做法的缺点是成本很高，需要依靠大量人力进行设计，难以推广。因此，解决方案是设计专门自动学习特征的模型，代表模型FM。但FM本身基于线性模型，性能有限，所以需要更复杂的模型，于是，作者提出了NFMs。

模型结构

NFM的表达式：
$$\hat{y}NFM(\mathbf{x})=w0+\sum _{i=1}^n{w}_i{x}_i+f(\mathbf{x})$$

对比FM表达式
$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{i+1}^n<v_i,v_j>x_i{x}_j$$

从表达式来看，前两项基本一致，都是线性回归，区别在于第三部分的表达式，也就是$f(x)$部分，这也是NFM核心部分。

$f(x)$的具体结构如下图所示

NFM网络结构（一阶线性回归部分未包括）

F（x）各层解析

Embedding Layer

Embedding层是一个全连接层,本身结构和作用与之前相似，把稀疏向量转化成稠密向量。

假设$\mathbf{v}\mathbf{i}\in {\mathbb{R}}^k$为第$i$个特征的embedding向量， 那么 V x = { x 1 v 1 , … , x n v n } \mathcal{V}{x}=\left\{x_{1} \mathbf{v}{1}, \ldots, x{n} \mathbf{v}_{n} \right\} Vx={x1​v1,…,xnvn​}（$x_i\ne 0$）表示的下一层的输入特征。

Bi-Interaction 层

NFM区别FM的核心。作用是将Embedding向量转换为一个向量.

假设${\mathcal{V}}_x$是所有特征embedding的集合， 那么在特征交叉池化层的操作：

$$f_{BI}\left(\mathcal{V}x\right)=\sum _{i=1}^n\sum _{j=i+1}^n{x}_i\mathbf{v}i\odot xj{\mathbf{v}}_j$$

$\odot$表示两个向量的元素积操作，即两个向量对应维度相乘得到的元素积向量（可不是点乘呀），其中第$k$维的操作： $$\left(v_i\odot v_j\right)k=\mathbf{v}ik{\mathbf{v}}_{jk}$$

Bi-Interaction 层没有引入额外参数，可以在线性时间内被计算。上文公式可以被转换为下面形式
$$f_{BI}\left(\mathcal{V}x\right)=\frac{1}{2}\left[{\left(\sum _{i=1}^n{x}_i\mathbf{v}i\right)}^2-\sum _{i=1}^n{\left(x_i{\mathbf{v}}_i\right)}^2\right]$$

按照论文中的观点，可以在$O(k{N}_x)$（$N_x$为$x$中非零的数目）内进行Bi-Interaction。

隐藏层

这一层就是全连接的神经网络，用于学习要素的高等交互 ，公式如下：
$$\begin{array}{rlr}\mathbf{z}1=& \sigma 1\left(\mathbf{W}1fBI\left(\mathcal{V}x\right)+\mathbf{b}1\right)& \\ \mathbf{z}2=& \sigma 2\left(\mathbf{W}2\mathbf{z}1+\mathbf{b}2\right)& \\ & ⋮& \\ \mathbf{z}L=& {\sigma }_L\left(\mathbf{W}L\mathbf{z}L-1+{\mathbf{b}}_L\right)& \end{array}$$

其中$L$表示隐藏层的数量，$W1，b_l$和${\sigma }_l$分别表示第l层的权重矩阵，偏差矢量和激活函数。
通过选择非线性激活函数激活函数可以以非线性组合激活函数

输出层

这个就是最后一层的结果直接过一个隐藏层，： $$f(\mathbf{x})={\mathbf{h}}^T{\mathbf{z}}_L$$

所以， NFM模型的前向传播过程总结如下：
$$\begin{array}{rlr}\hat{y}NFM(\mathbf{x})& =w0+\sum _{i=1}^n{w}_i{x}_i& +{\mathbf{h}}^T{\sigma }_L\left(\mathbf{W}L\left(\dots \sigma 1\left(\mathbf{W}1fBI\left(\mathcal{V}x\right)+\mathbf{b}1\right)\dots \right)+{\mathbf{b}}_L\right)\end{array}$$

所有的参数 Θ = { w 0 { w i , v i } , h , { W l , b l } \Theta=\lbrace w_0 \lbrace w_i, v_i \rbrace,h, \lbrace W_l, b_l \rbrace Θ={w0​{wi​,vi​},h,{Wl​,bl​},与FM相比，NFM的其他模型参数主要是 { W l ， b l } \{W_l，b_l\} {Wl​，bl​}，用作高级交互。

论文补充

相比FM

文章提到，FM可以认为是NFM的一种特例，将$L$设为0，并将Bi-Interaction池的输出直接映射到输出层，得出NFM-0

$$\begin{gathered} f_{BI}\left(\mathcal{V}x\right)=\sum _{i=1}^n\sum _{j=i+1}^n{x}_i\mathbf{v}i\odot xj{\mathbf{v}}_j \\ =w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n\sum _{f=1}^k{h}_f{v}_{if}{v}_{jf}.x_i{x}_j \end{gathered}$$
$h$变为（1…1)的向量，NFM变为FM公式。

Bi-Interaction层上可以使用dropout等技巧规范FM。

相比DeepCross

DeepCross或者Wide&Deep模型不能很好处理特征间的交互，NFM可以提供特征的二阶甚至更高阶的交互。

NFM模型的时间复杂度为$O(k{N}_x+{\sum }_{l=1}^L{d}_{l-1}{d}_l)$,与DeepCross以及Wide&Deep一致。

参考资料

NFM论文
https://github.com/datawhalechina/team-learning-rs