本文介绍的论文题目为:《Click-Through Rate Prediction with the User Memory Network》
论文下载地址为:https://arxiv.org/abs/1907.04667
如何利用用户的历史行为信息呢?前面也讲过很多方式,比如最简单的就是对历史行为序列中的物品对应的embedding进行concat或pooling操作,更进阶的如引入attention机制的阿里DIN模型、进一步引进用户兴趣抽取和演进模块的DIEN模型、以及后来的DSIN、BST模型等等。
而本文可能时间比较早,没有提及上述的诸多利用历史行为信息的方式,而仅关注不考虑行为信息的DNN模型,以及使用RNN来处理行为信息的方式上。DNN模型部署简单,而RNN模型可以融入行为信息,提升预测效果,但同时也带来了性能的问题。在兼顾DNN和RNN模型的优点的基础上,本文提出了记忆增强网络—MA-DNN模型,一起来看一下。
1、背景
在CTR预估中,用户历史行为信息是很重要的一类信息,处理用户历史行为信息的很重要的一类方法是使用RNN及其变形结构(如LSTM、GRU等),下图对比了两种模型结构(传统DNN和使用GRU处理历史行为信息):
使用GRU可以提升CTR的预测效果&#