HC^2：基于混合对比学习的多场景广告预估建模

1. 摘要

多场景广告预估建模旨在利用多场景的数据来训练统一的预估模型，以提高各个场景的效果。尽管现有研究方法在推荐/广告领域已取得了不错的提效，但现有的建模方式仍然缺乏跨场景关系的考虑，从而导致模型学习能力的限制和场景间相互关系建模的困难。在本文中，我们提出了一种用于多场景广告预估建模的混合对比学习方法HC^2。为增强跨场景数据相互关系的建模，我们精心设计了一种混合对比学习方法来协助模型捕获多个场景之间的共性和差异。该方法的核心包括两个精心设计的对比损失，即场景通用对比损失和场景个性化对比损失，其目的分别是捕获场景通用知识和场景特定知识。此外，为了使对比学习适应复杂的多场景预估背景，我们提出了一系列改进方案。实验效果表明HC^2方法能有效的提升多场景下广告预估的能力。基于该项工作整理的论文已发表在CIKM 2023，欢迎阅读交流。

论文： Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking

作者： Shanlei Mu, Penghui Wei, Wayne Xin Zhao, Shaoguo Liu, Liang Wang, Bo Zheng

下载（点击↓阅读原文）： https://dl.acm.org/doi/abs/10.1145/3583780.3614920

🔍 本期话题：多场景预估下，由于场景间的数据存在分布差异，该如何更好的利用不同场景之间的共性，并避免不同场景数据差异所带来的影响，有哪些有效的针对性算法方案呢？欢迎评论区留言讨论~

2. 引言

多场景推荐/广告预估旨在利用多场景的用户行为数据来训练预估模型（例如：CTR模型、CVR模型）服务于各个应用场景。作为优势，多场景建模可以利用更加丰富的数据缓解每个场景的数据稀疏问题，进而有效的提升不同场景下的推荐/广告投放效果。

多场景广告预估建模的关键在于捕捉不同场景下用户行为的共性和差异，以更加充分的利用多场景的数据提升建模效果。为此，结合场景共享和场景独有的神经网络结构（例如：SharedBootom[1]、MMoE[2]）被广泛的应用在多场景广告预估建模中。一般来说，场景共享的网络结构使用所有场景的数据进行优化以捕捉多个场景之间的共性，而场景独有的网络结构利用对应单一场景的数据进行优化以学习场景特定的知识，来建模出不同场景的差异。此外，一些参数动态生成模型也被提出，例如STAR[3]、APG[4]，这些方法使用共享的网络结构来生成场景特有的网络参数达到多场景建模的目的，其也可以被看作结合场景共享和场景独有的神经网络结构。

尽管这些方法已经被证明在推荐/广告领域取得不错的提效，但是我们认为多场景建模中的两个关键问题还没有被彻底解决：

• 网络结构学习能力的局限：通常结合场景共享和场景独有的神经网络结构仅根据多个场景下的特征到标签的映射关系进行优化，这种单纯有监督的信号受到训练数据质量和可用性的高度限制，同时对于集成了多场景结构的复合架构存在优化效率低的问题。

• 场景相互关系建模的困难：由于我们难以直接获得学习不同场景间关系的直接信号，所以难以精确建模出不同场景下共性和差异。特别是跨场景的数据相互关系非常复杂，在不同的样本或上下文中会显示出不同的关联模式。

为了解决上述问题，我们考虑借用对比学习的思想来提升多场景的广告建模。对比学习旨在通过从不同的视角对比正样本和负样本的表示来增强神经网络的表达能力，在许多领域都取得了巨大的成功。通过利用不同场景下样本间显式或隐式的相关模式，它可以派生出丰富的自监督信号来增强模型学习能力（对应于第一个问题）。同时，它是在样本层面进行的，这样我们就可以设计出更为灵活的的对比损失来分别建模优化不同场景间的共性和差异（对应第二个问题）。结合这两个优势，我们可以开发出更有效的多场景广告建模方法。

基于此，我们在已有的结合场景共享和场景独有的神经网络结构上提出了一种基于混合对比学习的多场景广告预估建模方法（Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking&#x