阿里/快手均发力-用户长期和短期兴趣建模 |CIKM|WWW

阿里和快手同时发力用户长短期兴趣建模，而且Idea如出一辙，可能意味着一种新信号--长短期兴趣建模对个性化推荐系统尤为重要：① 阿里CIKM2022年10月份，应用在搜索场景：短期兴趣的提取含有Query、和最近的触发行为；长期兴趣采用短期兴趣做Target对用户长期行为序列进行提取而来。 ② 快手WWW2022年4月份发表，应用在推荐Feed流场景：短期兴趣采用最近的触发作为Query；长期兴趣采用另外一种Query。

1 Hierarchically Fusing Long and Short-Term User Interests for Click-Through Rate Prediction in Product Search

1.1 略读文章简报

标题：层次融合(Hierarchically Fusing)长期和短期用户兴趣的产品搜索点击率预测  

链接：Hierarchically Fusing Long and Short-Term User Interests for Click-Through Rate Prediction in Product Search | Proceedings of the 31st ACM International Conference on Information & Knowledge Management

应用：用户行为Long/Short + CIKM'22  阿里巴巴  -- 个性化搜索

摘要：在个性化产品搜索中，点击率评估是一项重要而又具有挑战性的任务。然而，现有的CTR方法在产品搜索设置中仍然存在着一些困难，主要面临以下三个挑战：① 如何更有效地从多个方面提取用户的短期兴趣；② 如何提取并融合用户的长期兴趣与短期兴趣；③ 如何解决长期兴趣与短期兴趣纠缠的特点。为了解决这些问题，本文提出了一种分层兴趣融合网络(HIFN)，该网络由四个基本模块组成，即短期兴趣提取模块(SIE)、长期兴趣提取模块(LIE)、兴趣融合模块(IFM)和兴趣分离模块(IDM)。具体而言，SIE通过集成查询依赖、目标依赖和因果依赖三个基本兴趣编码器来提取用户的短期兴趣，然后将结果表示传递给LIE模块，在LIE模块中通过设计对SIE模块的短期兴趣的关注机制来有效地捕获用户的长期兴趣。在IFM中，将获得的长期兴趣和短期兴趣以自适应的方式进一步融合，然后将其与原始原始上下文特征进行拼接，得到最终的预测结果。最后，考虑到长期兴趣和短期兴趣的纠缠特性，IDM进一步设计了一个自我监督框架来理清长期兴趣和短期兴趣。

1.2 细品作品内涵

Challenge 挑战：

现有的CTR方法在产品搜索设置中仍然存在着一些困难，主要面临以下三个挑战：

  ① 如何更有效地从多个方面Extract用户的Short Interests；

  ② 如何提取并融合Fuse用户的长期兴趣与短期兴趣；

  ③ 如何解决长期兴趣与短期兴趣纠缠(entangling characteristic)的特点。

Motivation动机：

个性化产品搜索中CTR预测任务的前提是从用户的行为中准确提取用户的偏好，并有效地将其与当前查询Query相结合。此外，我们已经很好地认识到有两种类型的用户偏好。① Long Interests 表现出用户固有的、相对稳定的(演化缓慢的)偏好，如偏好的颜色、合身的尺寸、价格偏好，不知不觉中受到用户家庭背景、年龄、婚姻状况、教育程度的影响等。② Short Interests则是在相对较短的时间内传达用户的偏好意图(短期行为会受到复杂、丰富的时空信息、UI等信息影响)，它可以从用户近期的行为中推断出来，也会受到偶然发生的短暂事件的影响，如新产品发布、季节变化、生日[26]等特殊的个人场合。简而言之，用户短期兴趣的演变比长期兴趣的演变更为频繁和剧烈。

Contribution贡献：

① 提出了一种用于产品搜索中点击率预测的HIFN方法，该方法以分层的方式学习长期和短期用户兴趣表征；

  ② ShortInterestExtract、LongInterestExtract、InterestFuseModule和InterestDisentanglementModule四个关键模块，共同解决上述产品搜索环境中的上述挑战，可以在一个多任务端到端学习框架中高效实现：

       - 短期兴趣提取模块(SIE)：SIE通过集成查询依赖、目标依赖和因果依赖三个基本兴趣编码器来提取用户的短期兴趣，然后将结果表示传递给LIE模块

       - 长期兴趣提取模块(LIE)：通过设计对SIE模块的短期兴趣的关注机制来有效地捕获用户的长期兴趣

       - 兴趣融合模块(IFM)：将获得的长期兴趣和短期兴趣以自适应的方式进一步融合，然后将其与原始的上下文特征进行拼接，得到最终的预测结果

       - 兴趣分离模块(IDM)：考虑到长期兴趣和短期兴趣的纠缠特性，IDM进一步设计了一个自我监督框架来理清长期兴趣和短期兴趣。

现有个性化产品搜索模型的一个典型范例是显式地用嵌入向量表示用户意图和商品，然后在潜在空间中用点积匹配它们或将它们输入神经层以产生预测分数[5]。例如，HEM[2]融合了用户向量和查询向量，用凸组合表示用户意图。第一个基于注意的嵌入模型，该模型通过对用户历史购买商品的关注机制来构建依赖于查询的用户嵌入。ZAM[1]设计了一个零关注机制，以确定在各种场景下何时以及如何进行个性化。TEM[5]通过对查询序列和用户历史行为进行编码，实现了对个性化影响的动态控制。Guo[10]提出了一种新颖的关注长短期偏好模型(简称ALSTP)，在典型的个性化产品搜索场景中，学习和整合用户对当前查询的长短期偏好。尽管它的有效性，我们认为现有的产品搜索范式有几个明显的局限性。

     首先，现有方法总是通过聚合用户提交查询的用户历史行为来提取用户的兴趣表示。我们认为，只有当用户通过提交的查询显式地展示他们的需求时，该策略才能有效地工作。例如，当用户提交“红色帆布鞋”查询时，它可以清楚地表达用户对颜色、类型和材质的需求，通过直接使用用户行为对提交查询的注意机制，可以有效地提取查询依赖的兴趣。然而，用户有时表达他们的需求的意图是模糊的。例如，当用户发出查询“礼物”时，这表明用户没有指定品牌、类别、款式、价格、𝑒𝑡𝑐。他(她)此刻正欲求，导致前一阶段匹配交付的各种类型的候选项目。因此，我们需要从用户对单个目标商品的历史行为中提取用户当前的宝贵兴趣。换句话说，另一种解决方案是采用对目标产品的关注机制，而不是在这种情况下进行查询，以提取目标相关的用户兴趣。

     其次，存在着各种类型的历史行为，如点击、收藏、购买等，它们被以往的作品不经意地忽略了，或者只是被视为某种整合到原有框架中的行为特征。我们认为，多种行为包含丰富的信息，值得深入研究，以获得更好的用户兴趣表示。但是，将它们集成到原始框架中并不是一件简单的事情。例如，一些用户交付的购买行为表示他们最近的期望需求最终得到了满足，这意味着购买行为中对用户兴趣最终表示的权重较小。相反，有些用户可能会点击，或者喜欢某一特定类别的点击行为后，这表明用户的兴趣的激烈程度在不断增加，导致这种行为作为用户兴趣的最终表现应该给予更高的权重，在本文中，我们认为这种现象，𝑖.𝑒。，即多种类型用户行为的因果关系，称为因果依赖的用户兴趣。

   第三，目前最先进的长期兴趣和短期兴趣方法(𝑖.𝑒. ALSTP)虽然取得了较好的性能，但由于它只考虑用户兴趣的查询依赖性，而忽略了目标依赖性和因果依赖性，因此性能仍然难以提高。因此，在某些情况下会导致性能较差。此外，ALSTP只是将长期兴趣和短期兴趣结合起来，将两者纠缠在一起进行最终预测，没有明确区分长期兴趣和短期兴趣对最终预测的重要性，这将导致精度和可解释性较差。

    针对上述问题，提出了一种基于层次兴趣融合网络(HIFN)的产品搜索CTR预测方法，该方法由短期兴趣提取器(SIE)、长期兴趣提取器(LIE)、兴趣融合模块(IFM)和兴趣解纠缠模块(IDM)四个基本模块组成。具体而言，该方法采用𝑖.𝑒.、查询依赖兴趣编码器(QDIE)、目标依赖兴趣编码器(TDIE)和因果依赖兴趣编码器(CDIE)三种兴趣编码器分别提取用户的查询依赖、目标依赖和因果依赖兴趣，并以自适应方式融合这三种兴趣，从而提取用户的短期兴趣。在LIE中，我们通过设计一个关于SIE模块输出表示的注意机制来捕获用户的长期兴趣，然后融合模块IFM的长期和短期兴趣。然后，将所有表示特征与原始上下文特征进行连接，并将其送入全连接层以生成最终的预测结果。最后，在DLSR[32]的推动下，IDM为长期和短期兴趣注入了伪标签，并使用自监督框架来分离长期和短期兴趣。但与DLSR不同的是，我们设计了一种更新策略来设置长期兴趣代理，它比DLSR中的设置更合适，性能也更好。

2 Disentangling Long and Short-Term Interests for Recommendation

2.1 略读文章简报

标题：序列推荐：解耦长短期兴趣 + 对比学习

链接：https://arxiv.org/pdf/2202.13090.pdf 九河之间：用户长短期兴趣 Disentangling Long and Short-Term Interests for Recommendation 详解   代码开源：https://github.com/tsinghua-fib-lab/CLSR.

应用：用户行为Long/Short + 快手 WWW'22   + 对比学习

摘要：对用户的长期和短期兴趣进行建模是准确推荐的关键。然而，由于没有针对用户兴趣进行手动标注的标签，现有的方法总是遵循将这两方面纠缠在一起的范式，这可能导致推荐的准确性和可解释性较差。在本文中，为了解决这一问题，我们提出了一个对比学习自我监督框架来解决长期和短期兴趣推荐(CLSR)。具体来说，我们首先提出了两个独立的编码器来独立捕获不同时间尺度的用户兴趣。然后，我们从交互序列中提取长期和短期兴趣代理，作为用户兴趣的伪标签。在此基础上，设计成对对比任务来监督兴趣表征及其对应的兴趣代理之间的相似性。最后，由于长期兴趣和短期兴趣的重要性是动态变化的，我们建议通过基于注意力的网络自适应地聚合它们进行预测。我们在电子商务和短视频推荐的两个大型真实数据集上进行了实验。

2.2 细品作品内涵

Motivation动机&Challenge&挑战：

      用户长短期兴趣对推荐的准确性起着非常重要的作用，但是现有众多模型都没有区分长短期兴趣：①长期历史行为中普遍存在隐式和嘈杂的多个偏好信号，这无疑会降低用户真实兴趣的建模效果。② 用户的兴趣很难追踪，因为他们往往既有稳定的长期兴趣，也有动态的短期兴趣

    1）long-term兴趣：受用户全生命周期行为、用户画像影响，相对稳定不变；short-term兴趣：受用户近期行为、Last 行为影响，随着时间动态变化的

   2）缺乏长短期兴趣的标签Label(即类似于训练数据的label是否点击标签)，无法明确的监督学习

   3）长短期兴趣如何更高效的融合在一起

ACT&方案：基于CL(Contrastive Learning)的框架，提出了CLSR模型

通过设计不同的Query，得到长短期兴趣，并通过CL使得长短期兴趣有差异（快手+清华）

    1）两种不同的encoders分别从用户行为序列中提取用户的长短期兴趣

    2）pairwise contrastive tasks

   3）动态变化的长短期兴趣通过自适应的Atte捕捉

  仅涉及长短期兴趣表示，没有建模长短期行为匹配、交互

具体模型细节：

   ① 长期兴趣只是用户U的函数；

   ② t时刻的短期兴趣是t-1时刻的短期兴趣、item、交互类别、用户的函数； -- Us_t就体现出了evolution GRU，进化的思想（基于前一时刻及交互行为）

   ③ t时刻的交互类别是长期兴趣、用户、t时刻的短期兴趣和item的函数；

DIEN (deep interest evolution network) 目前存在着一些直接使用用户行为的CTR预测方法，但是这些方法缺乏对具体行为背后潜在兴趣的专门建模。目前较少的工作考虑了兴趣的变化。这篇论文中，作者提出了一个新的模型，叫做深度兴趣进化网络（Deep Interest Evolution Network，缩写为DIEN)用于CTR预测。在这个模型中，设计了兴趣抽取层来从用户的历史行为序列中获取与时间有关的兴趣。在兴趣抽取层中，引入了一个辅助损失函数在每一步的学习中进行监督。在兴趣进化层，注意力机制被嵌入到序列结构中，在兴趣进化过程中，相关兴趣的作用增强。DIEN已经应用于淘宝的广告展示系统中，获得了20.7%点击率的提升。

3. 相关话题

  ① 更多关于用户长短期兴趣建模，请看九河之间：浅析推荐系统的长短期行为

  ②【七问】Transformer 和 One Epoch质疑权威，请看九河之间：CTR率预测One Epoch现象 / LTSF场景质疑Transformer