推荐系统论文粗读记录【三】

1.【FNN】《Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction》
作者： Weinan Zhang and Tianming Du and Jun Wang
发布时间： 2016-01
来源： arXiv:1601.02376
引用数： 367
地址： https://arxiv.org/abs/1601.02376
笔记： 本文提出使用FMs（因式分解机制）、RBMs（受限制玻尔兹曼机）、DAEs（降噪自动编码）进行特征转换，然后利用深度神经网络模型学习多类别特征交互信息，从而进行用户广告点击预测。本文介绍了两种模型：Factorisation Machine supported Neu- ral Network (FNN) 和Sampling-based Neural Network (SNN)。
FNN：如图所示，FNN的底层是FM，从上到下分别是输出层：$$\hat{y}=sigmoid(W_3{l}_2+b_3)$$其中$\hat{y}\in (0,1)$，$l_2$是隐藏层的输出：$$l_2=tanh(W_2{l}_1+b_2)$$隐藏层$l_1$和$l_2$是一样的，它的输入$z$是图中Dense Real Layer的输出：$$z=(w_0,z_1,z_2,...,z_n)$$其中$n$表示类别field的数量，$w_0$是全局的标量参数，$z_i$是第$i$个类别field参数向量，是通过FM计算得到：$$z_i=W_0^i\cdot x[star{t}_i:en{d}_i]=(w_i,v_i^1,v_i^2,...,v_i^K,)$$其中$star{t}_i、en{d}_i$是第$i$个类别field中的特征开始和结束索引，$W_0^i$是通过FM训练得到的参数。

SNN：SNN和FNN不同的一点是底层由FM换成全连接网络：$z=sigmoid(W_{0}x+b_0)$，如下图。

2.【PNN】《Product-based Neural Networks for User Response Prediction》
作者： Yanru Qu and Han Cai and Kan Ren and Weinan Zhang and Yong Yu and Ying Wen and Jun Wang
发布时间： 2016-11
来源： arXiv:1611.00144
引用数： 375
地址： https://arxiv.org/abs/1611.00144
**笔记：**PNN和FNN也大同小异，如下图。同样的，从上到下分别是输出层：$$\hat{y}=\sigma (W_3{l}_2+b_3)$$$l_2$是隐藏层的输出:$$l_2=relu(W_2{l}_1+b_2)$$这里的隐藏层使用的是ReLU激活函数，而模型的底层使用的是张量的内积：$$A\odot B\triangleq \sum _{i,j}{A}_{i,j}{B}_{i,j}$$$l_z和l_p$的计算分别是：$$l_z=(l_z^1,l_z^2,...,l_z^{D_1})，l_z^n=W_z^n\odot \mathbf{z}$$$$l_p=(l_p^1,l_p^2,...,l_p^{D_1})，l_p^n=W_p^n\odot \mathbf{p}$$其中$W_z^n和W_p^n$是product layer中的权重。

3.【NCF】《Neural Collaborative Filtering》
作者： He, Xiangnan and Liao, Lizi and Zhang, Hanwang and Nie, Liqiang and Hu, Xia and Chua, Tat-Seng
发布时间： 2017-04
来源： International World Wide Web Conferences Steering Committee Proceedings of the 26th International Conference on World Wide Web
引用数： 1648
地址： https://doi.org/10.1145/3038912.3052569
笔记： 本文利用深度神经网络解决推荐系统中的协同过滤问题。通过深度神经网络替代张量内积，从数据中学习模型，提出使用多层感知机学习user-item交互信息。如下NCF架构图，输入层由用户$u$和item $i$的特征向量${\mathbf{v}}_u^U和{\mathbf{v}}_i^I$构成，输入层的上一层是全连接层，将稀疏的特征向量映射成稠密的语义向量，再上一层则是NCF层，是一个多层神经网络。其输出是：$${\hat{y}}_{ui}=f(P^T{\mathbf{v}}_u^U,Q^T{\mathbf{v}}_i^I|P,Q,{\Theta }_f)$$其中$f(P^T{\mathbf{v}}_u^U,Q^T{\mathbf{v}}_i^I)={\varphi }_{out}({\varphi }_X(...{\varphi }_2({\varphi }_1(P^T{\mathbf{v}}_u^U,Q^T{\mathbf{v}}_i^I))...))$，$\varphi$表示各层的映射函数。NCF的目标函数：$$L=-\sum _{(u,i\in \mathcal{Y}\cup {\mathcal{Y}}^{-})}{y}_{ui}log{\hat{y}}_{ui}+(1-y_{ui})log(1-{\hat{y}}_{ui})$$

4.【DRN】《DRN: A deep reinforcement learning framework for news recommendation》
作者： Zheng, Guanjie and Zhang, Fuzheng and Zheng, Zihan and Xiang, Yang and Yuan, Nicholas Jing and Xie, Xing and Li, Zhenhui
发布时间： 2018-04
来源： Proceedings of the 2018 World Wide Web Conference
引用数： 376
地址： https://doi.org/10.1145/3178876.3185994
笔记： 本文研究之前的方法存在一些问题：1、仅仅根据当前的反馈（如点击率）进行建模；2、很少使用用户的反馈信息；3、现有方法都趋向于推荐相似的news给用户。文本提出使用基于DQN的强化学习框架进行新闻推荐，考虑了用户活跃度来提高推荐精确度。如下图为模型框架，网络训练通过离线方式利用user-news点击日志数据进行训练，线上推荐部分则如下：
PUSH：每个时间戳（$t_1,t_2,t_3,t_4,t_5,...$）中根据请求用户的特征和候选新闻生成一个top-K的新闻推荐列表，推荐列表的生成是通过当前模型的挖掘和novel item的探索生成的。
FEEDBACK：根据接收到推荐列表的用户的点击行为生成反馈信息
MINOR UPDATE：每个时间戳$t_1$，模型会根据用户、新闻列表、反馈的信息特征去比较推荐性能，并判断是否需要更新模型。
MAJOR UPDATE：一段时间之后（如$t_3$），模型会利用用户的反馈信息和存储的用户活跃行为信息更新网络。
整个推荐系统将不断重复上述过程。

5.【List-Wise】《Deep Reinforcement Learning for List-wise Recommendations》
作者： Xiangyu Zhao and L. Zhang and Zhuoye Ding and Dawei Yin and Yihong Eric Zhao and Jiliang Tang
发布时间： 2017-12
来源： arXiv:1801.00209
引用数： 103
地址： https://arxiv.org/abs/1801.00209
笔记：