WWW‘22 推荐系统论文之多任务与对比学习篇

本文链接：https://blog.csdn.net/weixin_41278720/article/details/125464213

WWW 2022已公布录用论文，接收323篇/投稿1822篇，录用率为17.7%，完整录用论文列表见
https://www2022.thewebconf.org/accepted-papers/

[1] [2]已对推荐系统和计算广告相关论文进行梳理，《WWW'22 推荐系统论文之序列推荐篇》已对序列推荐方向的论文进行总结，由于多任务学习和对比学习存在较多交叉，本文选择多任务学习和对比学习两个方向个人感兴趣的论文进行进一步解读，对于已有人解读的论文，本文会给出相应链接。

1. 多任务学习

1.1【WWW 2022】MetaBalance: Improving Multi-Task Recommendations via Adapting Gradient Magnitudes of Auxiliary Tasks

论文链接: https://arxiv.org/abs/2203.06801

代码链接: https://github.com/facebookresearch/MetaBalance

论文机构: 德州农工、Facebook

论文分类: 多任务学习、动态权重、梯度优化、不平衡问题

论文总结: 在个性化推荐场景中，可以通过添加额外的辅助任务，通过多任务学习来提高目标任务的泛化能力。然而，这种方法经常会遇到严重的优化不平衡问题：一方面，一个或多个辅助任务可能比目标任务具有更大的影响，甚至主导网络权重，导致目标任务较差的推荐结果；另一方面，一个或多个辅助任务的影响可能太弱而无法辅助目标任务。更具挑战性的是，这种不平衡在整个训练过程中动态变化，并且在同一网络的各个部分之间变化。本文提出了一种新方法：MetaBalance，依据目标任务的梯度动态对辅助任务的梯度进行缩放，通过标准化后与目标梯度相乘使得目标任务和辅助任务的梯度能够在相同的量级上，缓解辅助任务梯度过大或过小的问题。具体来说，在每次训练迭代中，自适应地针对网络的每个部分，减小或放大辅助损失的梯度，使其幅度更接近目标损失的梯度，防止辅助任务过于强大而主导目标任务或太弱而无法帮助目标任务。此外，可以灵活调整梯度幅度之间的接近度，以使 MetaBalance 适应不同的场景。实验表明，本文提出的方法在 NDCG@10 方面实现了 8.34% 的显着改进，基于两个真实数据集的最强基线。

1.2【WWW 2022】A Contrastive Sharing Model for Multi-Task Recommendation

论文链接: https://web.archive.org/web/20220505174145id_/https://dl.acm.org/doi/pdf/10.1145/3485447.3512043

论文机构: 北邮、腾讯、蒙特利尔大学

论文分类: 多任务学习、对比学习

论文总结: 近年来，多任务学习在推荐系统中得到了广泛的应用。多任务学习中的一个关键挑战是在任务之间学习合适的共享参数并避免信息的负传递。最新的稀疏共享模型使用独立的参数掩码，它只激活任务有用的参数，为每个任务选择有用的子网络。然而，由于所有子网络都是针对每个任务独立并行优化的，因此面临着参数梯度更新之间的冲突问题。为了应对这一挑战，本文提出了一种新颖的多任务学习的对比共享推荐模型 (Contrastive Sharing Recommendation model in MTL learning，CSRec)，通过对比学习评估参数的贡献，解决了多任务学习中的参数冲突问题，缓解了任务之间无关信息的负迁移。具体来说，CSRec 中的每个任务都通过独立参数掩码从子网络中学习，就像在稀疏共享模型中一样，但是仔细设计了对比掩码来评估参数对特定任务的贡献，冲突参数将根据受参数影响更大的任务进行优化。此外，作者在 CSRec 中采用了交替训练的策略，使得通过公平竞争自适应地更新冲突参数成为可能。本文在三个真实世界的大规模数据集上进行了广泛的实验，即腾讯看点、AliCCP 和 Census-income，表明提出的模型在离线和在线 MTL 推荐场景中都优于最先进的方法。

1.3【WWW 2022】A Multi-task Learning Framework for Product Ranking with BERT

论文链接: https://arxiv.org/abs/2202.05317

论文机构: 圣塔克拉拉大学、沃尔玛

论文分类: 多任务学习、BERT、搜索

论文总结: 产品排名是许多电子商务服务的重要组成部分，产品搜索的主要挑战之一是查询query和产品之间的词汇不匹配，与其他信息检索领域相比，这可能是一个更大的词汇差距问题。虽然有越来越多旨在解决该问题的方法，但它们并没有利用大型语言模型的最新进展来进行产品搜索。另一方面，产品排名通常涉及多种类型的参与信号，例如点击、加购和成交，而现有的大多数工作都专注于优化一个单一的指标，例如点击率，这可能遭受数据稀疏的困扰。在这项工作中，作者提出了一种新颖的端到端多任务学习框架，用于使用 BERT 进行产品排名，以应对上述挑战。所提出的模型利用具有微调功能的特定领域 BERT 来弥合词汇差距，并采用多任务学习来同时优化多个目标，从而为产品搜索提供了一个通用的端到端学习框架。作者对现实世界的电子商务数据集进行了一组综合实验，并展示了所提出的方法相对于最先进的基线方法的显著改进。本文的主要贡献可以总结如下：提出了一种新的基于神经信息检索的产品排名多任务学习框架。据作者所知，之前没有将多种类型的参与信号与神经 IR 集成以进行产品搜索的工作 (我怎么觉得有。。)；为了模拟不同任务之间的关系并减轻常见知识和特定任务知识之间的有害参数干扰，所提出的框架利用混合专家层和任务之间的概率转移来利用丰富的参与数据；所提出的框架以端到端的学习方式将语义匹配与传统排名特征相结合，利用特定领域的 BERT 进行语义匹配和微调，并展示了不错的结果；对电子商务中的真实世界产品搜索数据集进行了全面的实验，并展示了所提出的方法相对于竞争基线方法的有效性。

1.4【WWW 2022】Intent Contrastive Learning for Sequential Recommendation

论文链接: https://arxiv.org/pdf/2202.02519

代码链接: GitHub - salesforce/ICLRec

论文机构: Salesforce、UC San Diego

论文分类: 序列推荐、(意图)对比学习、多任务学习、聚类应用

论文总结: 同对比学习2.3

解读链接: 解读链接: [6] [7] [8]

1.5【WWW 2022】Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

论文链接: https://arxiv.org/abs/2202.06200

代码链接: https://github.com/RUCAIBox/NCL

论文机构: 人大

论文分类: 对比学习、图网络、协同过滤

论文总结: 同对比学习2.1

2. 对比学习

2.1【WWW 2022】Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

论文链接: https://arxiv.org/abs/2202.06200

代码链接: https://github.com/RUCAIBox/NCL

论文机构: 人大

论文分类: 对比学习、图网络、协同过滤

论文总结: 作为一种有效的推荐方法，图协同过滤可以通过对用户-商品交互图建模来捕捉用户对商品的偏好。尽管有效，但这些方法在实际场景中会面临数据稀疏问题。为了减少数据稀疏的影响，可以在图协同过滤中采用对比学习来提高性能，然而，现有的方法通常是随机抽样构建对比pair，忽略了用户 (或商品)之间的相邻关系，未能充分利用对比学习的潜力。为解决上述问题，本文提出了一种新颖的对比学习方法，命名为NCL (Neighborhood-enriched Contrastive Learning)，它明确地将潜在的邻居合并到对比pair中。具体来说，本文分别从图结构和语义空间中引入用户 (或商品)的邻居，图结构邻居指用户与商品交互图中直接相连或是经过偶数跳相连的，语义邻居指两个用户(物品)有相似的embedding。对于交互图上的结构邻居，作者开发了一种新颖的结构对比目标，将用户 (或商品)及其结构邻居视为正对比pair。在实现中，用户 (或商品)和邻居的表示对应于不同 GNN 层的输出。此外，为了挖掘语义空间中潜在的邻居关系，作者假设具有相似表示的用户在语义邻居内，并将这些语义邻居合并到原型对比目标中。本文所提出的NCL可以用 EM 算法进行优化，并推广到图协同过滤方法。在五个公共数据集上进行的大量实验证明了所提出的 NCL 的有效性，特别是在 Yelp 和 Amazon-book 数据集上，相比图协同过滤基础模型的性能分别提高了 26% 和 17%。

2.2【WWW 2022】A Contrastive Sharing Model for Multi-Task Recommendation

论文链接: https://web.archive.org/web/20220505174145id_/https://dl.acm.org/doi/pdf/10.1145/3485447.3512043

论文机构: 北邮、腾讯、蒙特利尔大学

论文分类: 多任务学习、对比学习

论文总结: 同多任务学习1.2

2.3【WWW 2022】Intent Contrastive Learning for Sequential Recommendation

论文链接: https://arxiv.org/pdf/2202.02519

代码链接: https://github.com/salesforce/ICLRec

论文机构: Salesforce、UC San Diego

论文分类: 序列推荐、(意图)对比学习、多任务学习、聚类应用

论文总结: 用户与物品的交互由各种意图驱动 (例如准备节日礼物、购买钓鱼设备等)。然而，用户的潜在意图通常是难以被观察到的，这使得利用潜在意图进行序列推荐 (SR) 非常具有挑战性。为了研究潜在意图并有效地利用它们进行推荐，本文提出了意图对比学习 (ICL)，这是一种将潜在意图变量利用到序列推荐任务中的通用学习范式，其核心思想是从未标记的用户行为序列中学习用户的意图分布函数，并通过在对比自监督学习 (SSL)中考虑学习到的意图来优化序列推荐模型。具体来说，作者引入了一个潜在变量来表示用户的意图，并通过聚类学习潜在变量的分布函数。作者通过对比自监督学习将学习到的意图用到序列推荐模型中，从而最大化序列视图与相应意图之间的互信息。训练在广义期望最大化 (EM)框架内的意图表示学习和序列推荐模型优化步骤之间交替进行。将用户意图信息融合到序列推荐中也提高了模型的鲁棒性。在四个真实世界数据集上进行的实验证明了所提出的学习范式的优越性，它提高了性能以及对数据稀疏和嘈杂交互问题的鲁棒性。

解读链接: [6] [7] [8]