《推荐系统》-PNN模型

1、原理

PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图：

图1、Product-based Neural Network Architecture

按照论文的思路，我们也从上往下来看这个网络结构：

输出层

输出层很简单，将上一层的网络输出通过一个全链接层，经过sigmoid函数转换后映射到(0,1)的区间中，得到我们的点击率的预测值：
$\hat{y}=\sigma (W_3{l}_2+b_3)$

l2层

根据l1层的输出，经一个全链接层 ，并使用relu进行激活，得到我们l2的输出结果：
$l_2=relu(W_2{l}_1+b_2)$

l1层

l1层的输出由如下的公式计算：
$l_1=relu(l_z+l_p+b_1)$

重点马上就要来了，我们可以看到在得到l1层输出时，我们输入了三部分，分别是lz，lp 和 b1，b1是我们的偏置项，这里可以先不管。lz和lp的计算就是PNN的精华所在了。我们慢慢道来:

Product Layer

product思想来源于，在ctr预估中，认为特征之间的关系更多是一种and“且”的关系，而非add"加”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。

product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp。二者的形式如下：
$l_z=(l_z^1,l_z^2...l_z^n...l_z^{D1}),l_z^n=W_z^n\odot z$

l p = (