用户超长行为历史下CTR预测（阿里 at KDD2019

Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction（阿里 at KDD2019 5月

通过系统设计解决用户超长行为历史下CTR建模与在线预测性能瓶颈，效果好于GRU4Rec和DIEN

源代码地址：https://github.com/UIC-Paper/MIMN

数据

http://jmcauley.ucsd.edu/data/amazon/ （Amazon(Book).）

https://tianchi.aliyun.com/dataset/dataDetail?dataId=649&userId=1 （阿里User Behavior Data from Taobao for Recommendation）

背景

 

从丰富的历史行为中挖掘用户兴趣来开发应用程序数据。

面对长序列的挑战用户行为建模，在长期的顺序用户行为方面变得更加困难，因为系统延迟和存储成本大约增加与用户行为序列的长度成线性关系。

创新

（1）UIC (User Interest Center).：

UIC保持最新兴趣状态对于每个用户，其更新取决于实时用户的行为事件，而不是根据流量请求。因此，UIC没有延迟实时点击率预测

（2）MIMN

从机器学习算法观点，我们提出了一种新颖的基于内存的架构，名为MIMN（多渠道用户兴趣存储网络）从用户长期的顺序行为数据中获得兴趣，从而超越最新模型

UIC和MIMN的协同设计解决方案可以实现我们以无限的长度来处理用户兴趣建模顺序行为数据。已经部署在阿里巴巴的展示广告系统

介绍

用于转化率预测和用户偏好建模的 deep CTR models 大致分为两类：

（i）pooling-based architecture（将用户的历史行为视为独立发出信号并将总/最大/注意力等池化操作应用于总结用户兴趣表示）

（2）sequential-modeling architecture（将用户行为视为顺序信号的结构[21，30]并将LSTM / GRU操作应用于用户兴趣汇总。

问题：将这些复杂的模型部署到在线服务系统中进行实时 推论，亿万用户访问系统 每天。遇到时变得更加困难

过去相关工作

 

DIN [31]指出，用户的兴趣各不相同，并且随项目而变化。

DIN中引入了注意机制，以吸引用户的兴趣。 DIEN [30]提出了一种辅助损失，以从中获取潜在利益。

TDSSM [25]提议对长期和短期用户兴趣进行联合建模，以提高推荐质量。

但是都无法部署在面向极长用户行为序列的实时预测服务器中

Network architecture of the proposed MIMN model.

 

Memory Induction Unit

数据

结果

 

比较：•嵌入和MLP是CTR的基本深度学习模型

将MIMN与最新的CTR预测模型进行了比较长期顺序用户行为建模的场景。 •DIN [31]是用户行为建模的早期工作，建议软搜索用户行为候选人。 •GRU4Rec [13]基于RNN，是使用循环单元以模拟顺序用户行为。 •ARNN是GRU4Rec的变体，它使用注意力机制-对所有隐藏状态进行加权求和以获得更好的用户序列表示。 •RUM [3]使用外部存储器来存储用户的行为特征。它还利用软书写和注意阅读与内存交互的机制。我们使用该功能-RUM级别存储序列信息。 •DIEN [30]将GRU与以候选人为中心的注意力整合在一起捕捉用户兴趣和发展趋势的技巧达到最先进的性能。

结论

在本文中，我们专注于利用长序列用户行为 数据与机器学习算法和在线协同设计 线服务系统。在计算方面，存储是主要的。 从相当长的时间内捕获长期用户兴趣的瓶颈顺序用户行为数据。我们介绍我们的动手实践 新颖的解决方案-解耦的UIC服务器进行实时推断-用户兴趣建模和基于内存的MIMN模型的作用 可以逐步实现，并且胜过其他 最先进的模型。 值得一提的是，深度学习带给我们强大的力量- 丰富的工具包，可为工业应用包含更多有价值的数据。 网络通过极力建模来完成这项工作以打开新空间 长序列用户行为数据。将来，我们计划进一步 推进研究，包括学习算法，训练 系统以及在线服务系统。