使用UIC (User Interest Center).解决长序列问题(数千长度)。 tensorflow的代码
摘要
本文直面长序列用户行为建模的挑战,介绍了我们与机器学习算法和在线服务系统共同设计的CTR预测任务的实践。(I)从服务系统的角度出发,通过设计一个独立的模块UIC(User Interest Center),将用户兴趣建模中最耗费资源的部分从整个模型中解耦出来。UIC维护每个用户的最新兴趣状态,其更新取决于实时用户行为触发事件,而不是流量请求。因此,UIC对于实时CTR预测是无延迟的。(Ii)从机器学习算法的角度出发,提出了一种基于记忆的多通道用户兴趣记忆网络MIMN(Multi-Channel User Interest Memory Network),用于从长序列行为数据中捕捉用户兴趣,取得了优于现有模型的性能。MIMN通过UIC模块以增量方式实现。
从理论上讲,UIC和MIMN的协同设计方案使我们能够处理无限长度的顺序行为数据的用户兴趣建模。通过模型性能和系统效率的比较,证明了所提方案的有效性。据我们所知,这是首批能够处理长度可达数千的长顺序用户行为数据的工业解决方案之一。它现在已经部署在阿里巴巴的展示广告系统中。
介绍
在深度学习的推动下,针对用户兴趣建模的深度CTR模型被提出,其框架设计巧妙,达到了最先进的水平。这些模型大致可分为两类:(I)基于汇集的体系结构[4,8,31],它将用户的历史行为视为独立的信号,并使用和/最大/注意力等汇集操作来汇总用户兴趣;(Ii)顺序建模体系结构[21,30]&#x