论文阅读【4】Product-based Neural Networks for User Response Prediction

巨大的特征空间给推荐系统的训练带来困难，本篇论文提出一个基于点积操作的神经网络，它用一个嵌入层学习分类数据的分布表示，通过product layer学习不同领域特征的交互特征，进而获得高阶特征的交互作用。实验表明product layer有效。

问题描述

本文以预测CTR(Click-through rate)为目标，具体问题见博客：论文阅读【3】Deep & Cross Network for Ad Click Predictions。

本文核心思想

product layer是本文的核心，这一层获得交互特征，本文使用一些特殊的参数矩阵构造以及函数设定减小了时间开销，缩小了模型复杂度。

实现细节

输出层：$\hat{y}=\sigma (W_3{l}_2+b_3)$ $W_3\in R^{1\ast D_2}{b}_3\in R$
Hidden Layer 2: $l_2=relu(W_2{l}_2+b_2)$ $l_1\in R^{D_1}$
Hidden Layer 1: $l_1=relu(l_z+l_p+b_1)$ $l_z,l_p,b_1\in R^{D_1}$

Product Layer

$$l_z=(l_z^1,l_z^2,\dots .l_z^{D_1}),l_z^n=W_z^n\odot z$$
$$l_p=(l_p^1{l}_p^2,\dots .l_z^{D_1}),l_p^n=W_p^n\odot p$$
其中$z=(z_1,z_2,\dots z_N):=(f_1,f_2,\dots f_N)$， p = { p i , j } , i = 1 , 2 , … N ; j = 1 , 2 , … N , p i , j = g ( f i , f j ) ; f i = W 0 i x [ s t a r t i : e n d i ] ∈ R M p=\{p_{i,j}\}, i=1,2,…N; j=1,2,…N, p_{i,j}=g(f_i,f_j); f_i=W_0^ix[start_i:end_i]\in R^M p={pi,j​},i=1,2,…N;j=1,2,…N,pi,j​=g(fi​,fj​);fi​=W0i​x[starti​:endi​]∈RM。对于$g$和$W_p^n$的设计是IPNN和OPNN的贡献。

本文提出2个PNN变形：IPNN和OPNN。

IPNN

$g(f_i,f_j)=<f_i,f_j>$，$W_p^n={\theta }^n{{\theta }^n}^T$ 最终推导出$l_p=(||{\sum }_i{\delta }_i^1||,||{\sum }_i{\delta }_i^2||,\dots ||{\sum }_i{\delta }_i^{D_1}||)$。

OPNN

$g(f_i,f_j)=f_i{f}_i^T\in R^{M\ast M}$，$p={\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j^T=f_{\sum }{f}_{\sum }^T$ 其中，$f_{\sum }={\sum }_{i=1}^N{f}_i$。

为什么有效

PNN与FNN和FM类似，又有所不同：将product layer去除PNN与FNN相同，而product layer的设计和FM类似，实验结果表明PNN比FNN和FM的实验结果都好。product layer的设计探索了不同特征之间的交互特性，并用$l_p$的结果表示出来。