阿里妈妈技术团队8篇论文入选 CIKM 2023

近日，第32届国际计算机学会信息与知识管理大会（The 32th ACM International Conference on Information and Knowledge Management, CIKM 2023）论文接收结果公布。阿里妈妈技术团队8篇论文被录用。

本文为大家介绍阿里妈妈技术团队入选论文，后续我们也将邀请作者详细解析论文思路和技术成果，欢迎关注~

▐  Deep Task-specific Bottom Representation Network for Multi-Task Recommendation

用于多任务推荐的任务相关的底层深度表示网络

摘要：基于神经网络的多任务学习（MTL）取得了显著进展，并已成功应用在推荐系统中。最近的深度MTL方法用于推荐系统中（例如MMOE， PLE）侧重于设计基于软门控的参数共享网络，以便隐式学习每个任务的通用表示。然而，MTL方法在处理冲突任务时可能会遇到性能退化的问题，因为负迁移效应可能会发生在任务共享的底层表示上。这可能会导致MTL方法捕获任务特定特性的能力降低，最终妨碍它们的有效性并阻碍对所有任务的良好泛化能力。在本文中，我们关注推荐系统中MTL的底层表示学习，并提出了深度任务特定底层表示网络（DTRN）来缓解负迁移问题。DTRN通过使每个任务具有其自己的底层表示建模阶段的表示学习网络，来显式获得任务相关的底层表示。具体而言，它通过的节省参数的超网络从每个任务的多种类型的行为序列中提取用户的兴趣。为了进一步获得每个任务的专用表示，DTRN通过为每个任务使用类似SENet的网络来完善每个特征的表示。这两个新提出的模块可以实现获得任务特定底层表示以缓解任务之间的相互干扰的目的。此外，DTRN还可以灵活地与现有的MTL方法相结合。在公共数据集和工业数据集上的实验证明了所提出的DTRN的有效性。此外，我们在实际推荐系统中部署了DTRN，并在多个任务场景中取得了显著的改进。

▐  BOMGraph: Boosting Multi-scenario E-commerce Search with a Unified Graph Neural Network

BOMGraph：基于统一图神经网络的电商多场景召回方法

摘要：手机淘宝支持用户以多种形式来进行搜索，除了常用的文本搜索，还支持拍照搜索、相似商品搜索。不同场景之间在数据分布上存在许多共性和差异性。能否利用场景之间的共性来缓解单场景样本稀疏性问题，提升召回效果，同时避免统一建模对于各场景差异化建模的影响。因此，本文提出了一种统一的基于图神经网络的召回方法（BOosting Multiscenario E-commerce Search with a unified Graph neural network，BOMGraph），BOMGraph包含几个组件来解决上述多场景建模存在的挑战。首先是在节点图卷积的时候通过场景内和场景间的metapath来传播跨场景之间的异构信息。其次，提出了一个解耦网络来提取商品场景公共和独有的表示，显式的建模不同场景之间的共性和差异性。最后，通过基于跨场景的样本增强和对比学习，来解决商品在单个场景由于长尾和样本稀疏导致学习不充分的问题。离线评估和在线A/B测试都证明了BOMGraph的有效性，并且目前已经在搜索广告的在线业务中投入使用。

▐  MEBS: Multi-task End-to-end Bid Shading for Multi-slot Display Advertising

MEBS：面向多坑展示广告的多任务端到端bid shading

摘要：业界通常聚焦在单一广告展示位上的竞价策略研究 ，而如今多坑位的广告逐渐流行。即：在一次用户请求中，将有多个广告依次展示给用户。不同的坑位会导致不同的成本效益， 广告主需要对每条流量精细化出价，以赢得性价比最高的广告坑位。为了针对坑位成效差异进行合理的出价，我们引入一种新的出价方式：在给定原有Bid基础上，基于请求粒度信息进行更为细粒度的出价Bid Shading，并从理论上证明了该范式的最优性。Bid Shading是一个优化问题，且求解过程需要用到竟得概率的预估，传统方法为先预估后搜索最优出价的两阶段算法，我们提出了新的多任务端到端算法，并针对多坑问题进行了适配。通过大量的线下和线上实验，证明了该方法的有效性：端到端方法相比两阶段，效果更优，且能大幅降低了在线引擎性能损耗；而相比传统针对单坑GSP的出价模式，bid shading这种流量上精细化出价的范式，显著提升了广告主的成效。

▐  COPR: Consistency-Oriented Pre-Ranking for Online Advertising

COPR: 面向一致性的在线广告粗排模型

下载：https://arxiv.org/abs/2306.03516

摘要：为了平衡效率和效果，工业级大规模广告系统通常采用多阶段级联架构，由于模型能力和出价策略的差异，粗排和精排会对相同的候选给出不同的排序结果，影响系统的投放效率。业界已有工作使用值对齐的方法，但会面临无法避免的值对齐误差和多因子融合后误差放大的问题，因此，我们提出了面向一致性优化的粗排框架，通过即插即用的序对齐模块、chunk采样和Δ𝑁𝐷𝐶𝐺权重机制，端到端优化粗排和精排排序的一致性。该工作已在阿里妈妈展示广告全量上线，并取得CTR +12.3%，RPM +5.6%的显著提升。

▐  A Free Lunch to Mitigate Sample Selection Bias for Ads CTR Prediction in Taobao

Rec4Ad: 淘宝广告点击率预估任务中样本选择偏差的缓解方案

下载：https://arxiv.org/abs/2306.03527

摘要：点击率(CTR)预估是在线广告系统中的基础任务。业界通常在带有用户反馈的广告曝光样本上训练CTR模型。由于曝光广告分布不同于真实候选广告分布，存在样本选择偏差(SSB)问题影响模型效果。现有缓解SSB的研究主要采用样本重加权技术，方差大且易破坏打分准度。另一类方法则依赖昂贵且有限的随机样本，无法用于大规模工业模型的训练。因此如何在一个不依赖随机样本(uniform-data-free)的框架下缓解工业模型的SSB问题值得探索。我们发现，很多平台采用广告(Ad)与推荐(Rec)混合列表的形式呈现给用户，其中 1) 广告与推荐结果往往由不同的选择机制产生 2）用户对这两类结果进行点击决策的逻辑相似。基于上述特性，我们提出Rec4Ad即引入推荐样本来缓解广告CTR模型SSB问题。在精细的数据增广后，Rec4Ad通过对齐与去相关模块学习解耦表征，分离出样本选择机制对应的偏差因子以提升效果。在淘宝展示广告全量上线后，Rec4Ad带来显著的线上效果提升。

▐  PS-SA: An Efficient Self-Attention via Progressive Sampling for User Behavior Sequence Modeling

基于渐进式采样自注意力机制的用户行为序列建模方法

摘要：得益于强大的序列建模能力，self-attention机制被越来越多地用于推荐系统中。但是self-attention机制O(n^2)的计算复杂度带来了昂贵的模型训练成本以及缓慢的推理速度，导致了实际部署的困难。为了解决这个问题，我们设计了一种替代方法来提高自注意力机制的效率。我们观察到用户行为序列中的每个item与其他item（包括自身）交互计算出的注意力权重矩阵是稀疏的，这就表明只有少数item是有价值（即注意力权重非零）且对最终输出有贡献。这也启发了我们设计有效的策略来识别有价值的item，然后通过仅计算这些item的注意力得分来最小化不必要的计算消耗。基于这个想法，我们提出了一种基于渐进采样的self-attention机制（PS-SA），它利用可学习的渐进采样策略来识别出最有价值的item，然后我们利用这部分选出的item来计算最终输出结果。学术和生产数据集上的实验表明，我们的方法可以在降低计算成本的同时获得不错的建模效果。我们已成功将其部署在阿里巴巴展示广告系统上，获得了2.6%CTR和1.3%RPM的线上收益。

▐  Entire Space Cascade Delayed Feedback Modeling for Effective Conversion Rate Prediction

面向有效转化率预估的全空间级联延迟反馈建模

摘要：转化率(CVR)预估是大规模电商平台的基础任务。可是在电商平台中，在用户转化后经常发生退款行为，影响到用户体验，为了构建更加健康的电商推荐系统，我们将目光转向有效转化。本文将用户在电商平台购买后不发生退款行为定义为有效转化率(ECVR)。简单的预估有效转化率的范式是分解为两个子任务：转化率预估和退款率预估。但是，退款率预估存在数据稀疏和样本选择偏差(SSB)问题，因为退款发生在转化之后。另外，在转化和退款行为中都存在着延迟反馈的情况，且有级联的关系，我们称之为级联延迟反馈(CDF)。之前的研究主要关注数据稀疏问题、SSB问题还有单一行为的延迟反馈问题。为了统一解决上述的所有ECVR预估中的问题，我们提出了全空间级联延迟反馈建模方法(ECAD)。具体来说，ECAD用全空间建模方法建模CVR预估和退款率来解决数据稀疏问题和SSB问题。除此之外，ECAD还精心设计辅助任务来建模样本转化时间窗口和退款时间窗口，从而解决CDF问题。在离线评测和在线AB测试中，均证明了ECAD的有效性，在闲鱼推荐系统部署后，带来了ECVR的显著提升。

▐  Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking

基于混合对比学习的多场景广告建模

摘要：多场景推荐/广告建模旨在利用多场景的用户行为数据来训练统一的模型（例如CTR模型、CVR模型），以服务于各个应用场景。作为优势，多场景建模可以利用更加丰富的数据缓解每个场景的数据稀疏问题，进而有效的提升不同场景下的推荐/广告投放效果。已有的多场景建模工作已经被证明在相关领域取得了不错的提效，但是我们认为多场景建模中的两个关键问题还没有被彻底解决：1）网络结构学习能力的局限；2）场景相互关系建模的困难。为此，在本文我们提出了一种用于多场景广告建模的混合对比约束方法（HC^2）。为了增强场景间数据相互关系的建模，我们设计了一种混合对比学习方法来捕获多个场景之间的共性和差异。我们方法的核心包括两个精心设计的对比损失，即场景通用对比损失和场景个性化对比损失，分别用于帮助模型更好的捕获场景通用的知识和场景独有的知识。同时为了使对比学习适应复杂的多场景广告建模任务，我们设计了一系列具体的策略和技术改进，包括对比样本的选择和扩展，对比损失的加权等等。我们提出的方法可看作是现有多场景模型的通用改进，可以被应用到各种结合场景共享和场景独有的神经网络结构中来提升多场景广告建模。

END

欢迎关注「阿里妈妈技术」，了解更多~