【超长序列建模】万级别：SIM《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click

最新推荐文章于 2024-09-15 19:08:15 发布

chad_lee

最新推荐文章于 2024-09-15 19:08:15 发布

阅读量853

点赞数

分类专栏：论文解读推荐系统 CTR 文章标签：算法人工智能数据挖掘

本文链接：https://blog.csdn.net/yanguang1470/article/details/126276355

版权

SIM模型采用召回+精排策略处理万级别序列行为数据，通过General Search Unit（GSU）和 Exact Search Unit（ESU）提取与候选AD相关的行为。GSU的hard-search和soft-search方法在处理长期用户兴趣时有效，而ESU利用时间状态属性改进了注意力机制。实验表明，该模型在淘宝线上及公开数据集上表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

万级别：SIM《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》

到了万级别，序列行为可能考虑的事情就不再是提取用户兴趣了，而是“过滤对于当前预估的噪声”。

MIMN 虽然通过计算分离的方式确保了时延方面无压力，但也带来了更新频率不一致，行为序列无法与候选 AD 更好的交互等问题。线上使用时，作者发现当序列长度超过 1k 时，MIMN 效果会变差（也是因为无法与候选 AD 交互）。

这个时候干脆模仿起推荐系统的召回、精排方法，对序列特征再做一次“召回”和“精排”：第一阶段Genral Search Unit（GSU）通过相对粗略的搜索模式，提取行为序列中与候选 AD 较相关的节点，第二阶段Exact Search Unit（ESU）通过精准搜索的模式，得到序列与候选 AD 的关系，并形成 embedding 供 MLP 使用。这个模型能吃下的最大序列长度为 54000，能满足工业界提取长期用户兴趣的需求。

这种召回+精排的思想之前也在AlphaCode见过一次了。

在这里插入图片描述

GSU

两种方案：hard-search 和 soft-search。给定用户行为 $\mathbf{B}=\left[\mathbf{b}_{1} ; \mathbf{b}_{2} ; \cdots ; \mathbf{b}_{T}\right]$ ，GSU给每一个用户行为计算一个相关性分数 $r_i$ ，然后根据 $r_i$ 从B中选出Top-K相关行为：

最低0.47元/天解锁文章