今天给大家带来一篇SIGIR2022上阿里中稿的一篇短文,主要研究在建模用户长期兴趣时,如何对用户的长行为序列中噪声进行过滤,选择topK的有用的行为用于CTR预估。论文提出对抗学习的思路来解决这一问题,一起来学习一下。
1、背景
基于用户历史行为序列建模用户的兴趣在CTR预估等领域取得了显著的成果。用户兴趣可以分为短期和长期,短期兴趣一般使用用户近期的行为来建模,长期兴趣则使用用户较长一段时期内的行为进行建模。由于用户在淘宝上的行为非常多,导致在建模用户长期兴趣时,使用的用户历史行为序列长度会非常长。
直接对长序列处理,线上性能难以保证,因此现有对于用户长行为序列的建模方法,大都采用的思想是将长序列转换为短序列,再采取类似DIN的方法进行处理,如MIMN引入Memory Network对行为序列信息进行提取和存储,并引入Memory Utilization Regularization对写入的权重方差进行控制,避免热门的商品主导Memory的更新。在线上预测通过设计单独的UIC模块减少耗时的压力。MIMN的主要缺点在于兴趣的提取无法很好的和候选AD/商品交互(仅通过存储矩阵实现交互),可能会对效果有损。SIM引入General Search Unit对用户行为序列中相关的item进行检索,通过这种检索的方式减少行为序列中item的数量。检索方式分为hard-search和soft-search两种方式,对于hard-search方式来说,通过规则方式进行检索,例如跟targ