推荐系统基础知识——深度推荐模型（二）

最新推荐文章于 2024-06-12 11:22:03 发布

XaiverZ

最新推荐文章于 2024-06-12 11:22:03 发布

阅读量882

点赞数 26

分类专栏：推荐系统基础知识文章标签：人工智能机器学习推荐系统深度推荐模型

本文链接：https://blog.csdn.net/WindGrin_/article/details/137660862

版权

6 篇文章 0 订阅

订阅专栏

深度推荐模型

Wide & Deep

模型结构：结合简单模型“记忆能力”强与复杂模型“泛化能力”强的特点
- Deep部分输入的是全量的特征向量，Wide部分输入的是几类离散型特征
- Wide部分使用交叉积变换（Cross Product Transformation）组合特征
  
  $\phi_{k}(\mathbf{x})=\prod_{i=1}^{d} x_{i}^{c_{k i}} \quad c_{k i} \in\{0,1\}$
  $c_{ki}$ 为布尔变量，当第 $i$ 个特征属于第 $k$ 个组合特征时， $c_{ki}$ 的值为 $1$ ，否则为 $0$ ； $x_i$ 为第 $i$ 个特征值
- Wide与Deep部分的输出共同输入最后的逻辑回归，融合两部分优势

DCN

模型结构
- DCN的Deep部分较Wide&Deep没有太多改动，主要是以Cross网络代替了Wide部分
- Cross部分的目的是增加特征之间的交互力度，使用多层交叉层（Cross Layer）对输入向量进行特征交叉
  
  $\mathbf{x}_{l+1}=\mathbf{x}_{0} \mathbf{x}_{l}^{T} \mathbf{w}_{l}+\mathbf{b}_{l}+\mathbf{x}_{l}=f\left(\mathbf{x}_{l}, \mathbf{w}_{l}, \mathbf{b}_{l}\right)+\mathbf{x}_{l}$

DeepFM

xDeepFM

模型结构
- Linear部分类似于Wide部分，DNN部分类似于Deep部分
CIN（Compressed Interaction Network）
- CIN首先通过下式计算每一层的输出
  
  $\mathbf{X}_{h, *}^{k}=\sum_{i=1}^{H_{k-1}} \sum_{j=1}^{m} \mathbf{W}_{i j}^{k, h}\left(\mathbf{X}_{i, *}^{k-1} \circ \mathbf{X}_{j, *}^{0}\right)$
  $\mathbf{X}_{i, *}^{k-1} \circ \mathbf{X}_{j, *}^{0}$ 生成 $H_{k-1}xm$ 个vector，然后再通过与权重矩阵的相乘，“压缩”成一张feature map：
- CIN先通过特征交叉产生若干 $h_i$ feature map，最后通过sum pooling输出，拼接，最后与其余模块融合一起分类

Neural Factorization Machine

NFM用神经网络代替FM中二阶交叉的部分

$\hat{y}_{F M}(\mathbf{x})=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n} \mathbf{v}_{i}^{T} \mathbf{v}_{j} \cdot x_{i} x_{j}$

$\hat{y}_{N F M}(\mathbf{x})=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+f(\mathbf{x})$
NFM在Embedding层（这里的Embedding层是全连接层）与MLP之间加入了特征交叉池化层（Bi-Interaction Pooling Layer）

$f_{B I}\left(\mathcal{V}_{x}\right)=\sum_{i=1}^{n} \sum_{j=i+1}^{n} x_{i} \mathbf{v}_{i} \odot x_{j} \mathbf{v}_{j}$
其中 $\mathcal{V}_{x}=\left\{x_{1} \mathbf{v}_{1}, \ldots, x_{n} \mathbf{v}_{n}\right\}$ 是所有特征域的Embedding集合（只包括了非零输入元素的Embedding Vector）

Factorization-machine supported Neural Network

使用FM训练出的特征隐向量权重初始化Embedding层权重（实际上是初始化Embedding神经元与输入神经元之间的连接权重）

$y_{\mathrm{FM}}(\boldsymbol{x}):=\operatorname{sigmoid}\left(w_{0}+\sum_{i=1}^{N} w_{i} x_{i}+\sum_{i=1}^{N} \sum_{j=i+1}^{N}\left\langle\boldsymbol{v}_{i}, \boldsymbol{v}_{j}\right\rangle x_{i} x_{j}\right)$