【推荐系统】Product-based Neural Networks for User Response Prediction

最新推荐文章于 2022-02-06 23:37:53 发布

布纸所云

最新推荐文章于 2022-02-06 23:37:53 发布

阅读量449

点赞数

分类专栏：推荐系统文章标签：深度学习

本文链接：https://blog.csdn.net/XindiOntheWay/article/details/105618692

版权

10 篇文章 3 订阅

订阅专栏

PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现特征交叉的DNN网络结构，特点如下：

PNN网络的架构如下图所示：
在这里插入图片描述
从上往下开始看：

$l_z, l_p$ 由product的输出 $z, P$ 得到，product层在下面详细介绍

最开始为特征嵌入层
$f_i=W_0^ix[start_i:end_i]$
$x$ 为包含不同fields的输入特征向量， $x_i$ 表示第 $i$ 个field的 $o n e$ - $h o t$ $v e c t o r$ ，( $i=1,\cdots,N$ )

Embedding+MLP结构是DNN应用在CTR预估的标准模式。通常，NN层之间都使用“add operation” ，通过激活函数来引入非线性
但是，作者认为，单纯的“add”也许不足以捕获不同的Filed特征间的相关性：
The "add"operations of the perceptron layer might not be useful to explore the interactions of categorical data in multiple fields.
PNN在embedding层后设计了Product Layer，以显示捕捉基于Field的二阶特征相关性

在这里插入图片描述
如上图所示，Product Layer分为两部分：线性部分 $z$ 和二阶部分 $P$ ：

首先定义操作 $\odot$ 为逐项相乘然后求和
$z$ 部分其实就是将Embedding层学到的嵌入直接原封不动地搬来
$\begin{aligned} & z= (z_1,z_2,\cdots,z_N) \triangleq (f_1, f_2,\cdots,f_N) \\ & l_z=(l_z^1,l_z^2,\cdots,l_z^d,\cdots,l_z^{D_1}), l_z^d=W_z^d\odot z \\ \end{aligned}$
$P$ 部分是product layer的重点，表示二阶交叉特征，若 $N$ 为feature field的个数
$\begin{aligned} & P=\{p_{i,j}\},i=(1,\cdots,N),j=(1,\cdots,N)\\ & l_p=(l_p^1,l_p^2,\cdots,l_p^d,\cdots,l_p^{D_1}), l_z^d=W_p^d\odot P \\ \end{aligned}$
其中 $p_{i,j}=g(f_i,f_j)$ 表示 $f_i$ 和 $f_j$ 的交互， $g(\cdot)$ 可以有不同的形式，本文提出了PNN的的两种形式： $I P N N$ 和 $O P N N$

IPNN在product层采用向量内积获得。

内积操作的图示如下：

$P\in \mathbb{R}^{N*N}, P_{ij}=g(f_i,f_j)=<f_i,f_j>=f_i^Tf_j\in \mathbb{R}$
其中：

$i,j=\{1,\cdots,N\}$ ， $N$ 为特征域的个数
$f_i\in \mathbb{R}^M$ 表示第 $i$ 个field的embedding向量
$l_p=(l_p^1,l_p^2,\cdots,l_p^d,\cdots.l_p^{D_1})$ ，其中第 $d$ 个节点计算如下：
- $l_p^d=W_p^d\odot P=\sum_{i=1}^{n}\sum_{j=1}^n(W_p^d)_{i,j}P_{i,j}$
- $\odot$ 表示逐项相乘再求和
- $W_p^d\in \mathbb{R}^{N*N}$ 为第 $d$ 个节点连接product层的权重
- $W_p^d , P$ 都为对称矩阵，可以利用一阶矩阵分解来近似 $W_p^d$ 从而降低复杂度

外积操作的图示如下：

$P_{ij}=g(f_i,f_j)=f_if_j^T\in \mathbb{R^{M*M}}$

关注