推荐系统笔记7-Product-based Neural Networks for User Response Prediction

本文介绍Product-based Neural Networks for User Response Prediction（简称PNN），原文Paper链接。

具体的代码实现见Github

摘要

本文和上次介绍的FNN一样，针对用户响应问题（如CTR、CVR等）建模，因为这类问题往往是类别型并且存在多个field，所以传统模型只能挖掘较浅的数据模式，且DNN不能直接用来处理高维稀疏输入（因特征空间过大），文章提出通过PNN来学习类别特征的Embedding表示，Product层用来捕获层间类别的交互模式，用更深的全连接层来进一步提取高阶交互特征。

一、介绍

通常再信息检索领域，包括推荐系统，其数据格式通常是多个field的，比如 [Weekday=Tuesday, Gender=Male, City=London] ,通过One-hot编码转换为稀疏数据，一般可通过LR、FM、GBDT来处理并能得到较不错的结果，但是这些模型依赖特征工程；文章指出FNN的弊端：1、FM限制了Embedding的质量；2、“add”操作不足以提取出多个field的交互特征；所以进而提出了通过product来处理交互；
提出PNN模型：1、直接从Embedding开始，而不需要预训练；2、使用product 层基于Embedding来建模交互特征（包括内积和外积）；3、进一步通过FC来提取高阶特征模式；

二、DEEP LEARNING FOR CTR ESTIMATION

2.1、Product-based Neural Network**

多个field的特征，如用户信息（City，hour），广告信息（ID，活动ID），除了FNN中提出的不同field做One-hot编码以外，还存在field中的局部依赖性和层级结构，所以作者提出PNN（FM是经过两个特征向量的内积来实现交互的）。接下来作者详细介绍所提出的两种网络Inner Product-based Neural Network (IPNN)和Outer Product-based Neural Network(OPNN) ；
PNN的网络结构如下图所示：

采取从上到下的描述：PNN的输出是一个概率值，$\hat{y}=\sigma (W_3{l}_2+b_3)$，$l_2=relu(W_2{l}_1+b_2)$，$l1=relu(l_z+l_p+b_1)$，其中激活函数用的relu，而不是FNN中的tanh，且对于$l_1$层来说，$l_z$是线性信号，$l_p$是二阶信号；
定义内积操作如下：
$$\mathrm{A}\odot \mathrm{B}=\sum _{i,j}{A}_{i,j}{B}_{i,j}$$首先是对于A和B的每个元素对应相乘，然后将结果求和；那么$l_z和l_{}$