CIKM 2021 | AutoHERI: 基于层次表示自动聚合的 CVR 预估模型

本文主要介绍阿里妈妈大外投广告算法团队在 CVR 预估模型与多任务学习方法上的一些探索。我们提出了一种基于层次表示自动聚合的 AutoHERI 模型（Automated Hierarchical Representation Integration），并在多个外投业务上落地应用。该项工作论文已发表在 CIKM 2021 ，欢迎交流讨论。

论文下载：

https://dl.acm.org/doi/10.1145/3459637.3482061

▐ 背景

转化率预估模型（post-click conversion rate estimation，即 CVR 模型）旨在预估用户在发生点击行为后会继续发生转化行为的概率，是推荐和广告系统中的重要模块，在排序、智能出价等功能中发挥着关键作用。在阿里妈妈外投广告业务中，广告在站外媒体展现给用户，用户点击广告后会唤端到淘宝 app 来继续发生加购、成交等深度行为。广告主通常会追求后链路效果优化（例如支付成本），因此 CVR 预估模型的优化一直是外投广告算法的迭代重点。

图 1：外投广告场景中的用户行为漏斗示例

在推荐与广告系统中，用户行为漏斗通常由 "展现-点击-...-加购-转化-复购-..." 等多个阶段构成，越靠后的阶段行为数越少。转化行为处在漏斗的末端，因此 CVR 模型的学习往往面临着正样本过少的数据稀疏问题。外投广告场景中，用户往往是逛与玩的心智，购买意愿相较于淘宝 app 站内广告场景要相对低，因此用户的转化行为往往更加稀疏，使得 CVR 模型学习有着更大的难度。此外，由于只有点击样本可以收集到 post-click 的转化 label，CVR 模型的训练通常使用点击样本集合，而在线服务时 CVR 模型需要对参竞空间的流量进行预测，因此存在着训练空间与预测空间不一致的样本选择偏差问题。

建模 CVR 预估的典型做法是将样本量更加丰富的前链路预估任务（如 CTR 预估）与之进行联合学习，近年来有许多精彩工作，包括 ESMM、DBMTL、GMSL、ESM2、Multi-DR、AITM [1-6] 等模型。在此基础上，我们着眼于更加精细地刻画全链路各预估任务之间的关联来提升对后链路行为的预估效果。从用户行为漏斗来看，各个预估任务之间存在级联式的层次关系：以最通用的 "展现-点击-转化" 漏斗为例，CTR、CVR 预估这两个任务可视作是前级、后级任务，形成了级联；类似地，外投广告场景中的 "展现-点击-唤端-转化" 行为漏斗中，也可以推广得到各预估任务之间的层次关系，例如 CTR 预估和唤端率预估是 CVR 预估的前级任务。为了利用任务间的层次关系来提升后链路行为预估模型的效果，我们希望建立一种能够将多个级联任务的建模过程显式联系起来的方法，探索如何有效地把前级任务所学到的较浅层转化信息聚合到后级任务的建模之中。同时，考虑到外投广告的业务场景众多，在单一场景有效的信息聚合方式未必适用于其他场景，因此我们希望所建立的方法在接入不同业务场景时可以高效地获取适应于特定场景的信息聚合模式。

基于上述动机，我们提出了基于层次表示自动聚合的 AutoHERI 模型 (Automated Hie