推荐系统遇上深度学习(一四零)-[美团]基于“采样”的超长行为序列建模方法SDIM...

今天给大家带来的是美团在CIKM2022上中稿的论文，重点关注于CTR预估中的超长用户行为序列建模。与SIM、ETA这类基于“检索”的建模范式不同，论文提出了一种简单而且有效的基于“采样”的建模范式。基于采样多个hash function和SimHash，弥补了基于“检索”的建模范式中信息缺失以及效果和效率难以平衡的缺点，极大降低计算复杂度的同时实现了在超长行为序列下类似target-attention的建模效果，一起来看一下。

1、背景

在CTR预估中，通过用户历史行为来建模用户兴趣是十分重要的一环。DIN创新的提出了target attention模块，将用户历史行为中item和target item的相关性计算引入到建模当中，与target item更相关的item对用户是否点击的行为具有更大的影响。以DIN为基础，后续阿里又提出了DIEN、DSIN等方法，但出于线上计算耗时的考虑，这些方法大都只能处理用户较短长度的行为序列，如50个。

随着互联网的不断发展，电商场景下用户的行为序列长度远不止50。据统计，淘宝APP上，有超过23%的用户半年内有多于1000次的用户交互行为；美团APP上，超过60%的用户一年中有多余1000次的交互行为，其中更有10%的用户一年内有超过5000次的交互行为。因此，如何高效的处理用户长行为序列，以此来更准确的对用户兴趣进行建模，成为近年来研究的热门话题。

对于用户长行为序列建模，MIMN使用兴趣计算分离的方式，引入记忆网络对长序列行为进行信息提取和存储，这种方式理论上可以处理任意长度的用户行为序列，但是缺点在于兴趣计算分离的方式无法建模用户历史序列和target间的交互关系，效果可能有损；SIM和UBR4CTR提出了两阶段的方法，在第一阶段中通过一定的方式从长行为序列中检索top-K个与target-item最相关的历史行为，第二阶段可以使用DIN等CTR预估的方法。两阶段的做法解决了MIMN中行为序列与target item无法交互建模的缺点，但仍是一种非端到端的建模方式，检索阶段的目标和CTR预估的目标存在不一致性。为了解决两阶段建模目标不一致的问题，阿里进一步提出了ETA这种端到端的建模方法，第一次引入SimHash的方法，通过计算target item和历史序列中item的汉明距离筛选top-k个相关item。但ETA仍然是一种基于“检索”的方法，存在两方面的局限性：

1）从用户的所有历史行为中检索top-K个item，对用户的兴