推荐系统中的“相关性建模”

目录

引言

相关性建模

DIN

SIM

DIHN

DIAN

参考文献

---

引言

谈起推荐系统，被诟病最多的就是重复推荐、买(点)了还推等问题，经常看到有人在一些社交平台怒喷推荐系统，点击了什么、购买了什么，接下来满屏都是什么。比如小明前段时间想给女朋友准备情人节礼物，但是不知道买什么，就在知乎或小红书等平台寻找一些推荐，发现大都是香水项链口红包包，然后在淘宝/京东/拼多多等平台搜索点击，接下来如果看一下对应的首页推荐，无论是猜你喜欢，还是榜单、聚划算、百亿补贴等营销场，可能满屏都是香水项链口红包包。如果是购买前还好，如果是购买后还这样，可能就会严重影响用户体验。所以推荐系统都会考虑多样性和发现性。

而说到相关性，似乎第一反应是搜索场景，那么相关性在推荐中有什么应用呢？一方面，在常规推荐任务的建模中，存在大量相关性的利用；另一方面，很多业务场景，本身就具有相关性要求，比如商品详情页推荐、MiniDetail场景以及一些所见即所得场景（如聚划算、百亿补贴等），但相关的工作目前还比较少，在此抛砖引玉，基于个人的理解对相关推荐的工作进行简单整理，相关论文可在公众号后台回复Relevant-RecSys-Papers获取，欢迎一起交流学习。

相关性建模

阿里的DIN[1]和SIM[2]大家应该很熟悉了，我会简单介绍这些建模是如何考虑了相关性；阿里的DIHN[3]是在飞猪相关推荐场景的尝试，阿里DIAN[4]则是DIHN在淘宝所见即所得场景的改进。此外，微信看一看的R3S[5]是个人已知明确在论文中提出相关推荐任务的第一篇工作（虽然之前在业务中早有应用），主要是提出了相关推荐的范式；快手FDSB[6]是重排阶段建模。

DIN

DIN[1] 是阿里发表在KDD'18的经典工作，已有多篇文章对其进行详细介绍，在此仅指出其相关性的部分。

传统Embedding&MLP范式通过池化用户行为特征组上的所有嵌入向量，得到固定长度的用户兴趣表示向量。 无论候选广告是什么，该表示向量对于给定用户都保持不变。 这样，维度有限的用户表示向量将成为表达用户多样化兴趣的瓶颈。 而扩展嵌入向量的维度会大大增加学习参数，将导致在有限的训练数据下过拟合，并增加计算和存储负担，对于工业在线系统来说是无法容忍的。

有没有一种优雅的方式可以在有限维度下用一个向量表示用户的不同兴趣？ 作者基于用户兴趣的局部激活特性设计了深度兴趣网络模型DIN。 DIN引入了一个局部激活单元，针对当前候选广告自适应地激活用户的历史兴趣，赋予和候选广告相关的历史兴趣更高的权重。也就是说，用户的历史行为和候选广告越相关，其对候选商品的打分就越重要，用户历史行为和候选商品的相关性得到了优雅的建模。

SIM

SIM[2] 是阿里发表在CIKM'20的经典工作，提出了基于搜索的兴趣模型(SIM)来建模用户的超长行为序列。SIM 通过两个级联搜索单元GSU和ESU提取用户兴趣：(i) General Search Unit (GSU) 从用户历史行为序列中搜索Top-K相关的子序列，将行为序列长度从万级降低到百级别，并过滤了和候选广告不相关的行为； (ii) Exact Search Unit (ESU) 对候选项目和用户行为子序列之间的精确关系进行建模。其中，GSU包括soft-search和hard search两种，hard-search仅选择和候选广告类目相同的用户行为数据，soft-search将用户行为序列映射成embedding表达，然后采用向量检索方式选择topk和候选广告相关的用户行为，实际业务中仅部署hard-soft方式。相比DIN对全部短期历史行为进行加权激活，受限于长序列，SIM采用更暴力的过滤方式，依然取得了良好的效果。进一步得出结论，对候选商品的打分，可能仅需要考虑相关的历史行为。

​

DIHN

DIHN[3] 是阿里发表在WWW'22的工作，本文是相关推荐场景的工作。

作者提出了一个新的推荐问题，即主商品引导的推荐 (TIR)，和R3S中提出的相关推荐类似。其中用户的即时兴趣可以通过主商品明确引导，并相应地推荐后续相关的目标商品。在本文中，作者发现虽然现有的推荐模型通过基于用户大量历史行为挖掘用户兴趣在传统推荐场景中是有效的，但由于这些场景之间的差异，它们在TIR场景中很难发现用户的即时兴趣，导致性能下降。

为了解决这个问题，作者提出了一种名为 Deep Interest Highlight Network (DIHN) 的新推荐方法，用于 TIR 场景中的点击率 (CTR) 预测。 它包含三个主要组件：用户意图网络 (UIN)，向量融合模块 (FEM)和混合兴趣过滤模块(HIEM)。因为相关推荐场景有主商品，而主商品可能代表了用户的真实意图，也可能是随意点击，所以DIHN先通过UIN预测用户对主商品的兴趣，响应生成精确的概率分数，以预测用户对主商品的意图；FEM根据用户对主商品的兴趣动态融合主商品和候选商品的表征；类似SIM，HSFM模块分软序列建模和硬序列建模，分别通过soft和hard的方式从历史行为序列获取用户的兴趣表示。

​

DIAN

DIAN[4] 是阿里发表在WWW'23的工作，可以看作是DIHN在淘宝所见即所得场景（比如聚划算、百亿补贴等）的改进。用户进入这些频道，可能是对频道入口的商品感兴趣，也可能是对频道本身感兴趣，作者设计了深度意图感知模型DIAN来建模该任务。1) 用户意图网络，预估用户的意图； 2) Trigger-Aware Net，建模被所见即所得商品吸引进频道的用户对候选商品的点击概率；3) Trigger-Free Net，建模目的是频道本身的用户对候选商品的点击概率。具体模型方面，TAN部分对短期序列使用DIN，长期序列使用SIM方式，trigger商品和target商品分别提取；TFN部分则是不引入主商品相关特征和模块。

​

参考文献

[1] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.

[2] Pi Q, Zhou G, Zhang Y, et al. Search-based user interest modeling with lifelong sequential behavior data for click-through rate prediction[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 2685-2692.

[3] Shen Q, Wen H, Tao W, et al. Deep interest highlight network for click-through rate prediction in trigger-induced recommendation[C]//Proceedings of the ACM Web Conference 2022. 2022: 422-430.

[4] Deep Intention-Aware Network for Click-Through Rate Prediction.

[5] Xie R, Wang R, Zhang S, et al. Real-time relevant recommendation suggestion[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 112-120.

[6] Lin Z, Wang H, Mao J, et al. Feature-aware Diversified Re-ranking with Disentangled Representations for Relevant Recommendation[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 3327-3335.