KDD'23 | Score-Weighted VCG：考虑外部性的智能拍卖机制设计

1. 摘要

智能广告拍卖机制（Learning-based Ad Auction Design）在在线广告中扮演着越来越重要的角色。但现有的方法并没有很好的考虑外部性，如自然结果会影响到广告结果的点击率。在本文中，我们提出了一种考虑外部性的广告拍卖通用框架，即 Score-Weighted VCG。该框架将考虑外部性的最优拍卖设计分解为两部分：单调得分函数的学习和加权福利最大化分配算法的设计。我们通过完备的理论证明了该框架在各种感知外部性的点击率模型下都能产出满足激励兼容和个体理性的近似最优广告拍卖。此外，我们提出一种基于匹配的分配算法来实现所提出的框架的方法。实验效果表明该算法能显著提升拍卖的优化目标（如Revenue和Social welfare）。该项工作依托阿里妈妈-北大人工智能创新联合实验室完成，基于该项工作整理的论文已被KDD 2023接收，欢迎阅读交流。

论文：Learning-Based Ad Auction Design with Externalities: The Framework and A Matching-Based Approach

作者：Ningyuan Li, Yunxuan Ma, Yang Zhao, Zhijian Duan, Yurong Chen, Zhilin Zhang, Jian Xu, Bo Zheng, Xiaotie Deng

下载（点击↓阅读原文）：https://dl.acm.org/doi/abs/10.1145/3580305.3599403

🔍 本期话题：广告和自然结果如要融合排序，相应的分配和扣费机制应该要怎样设计，最大的挑战是什么？欢迎评论区留言讨论~

2. 引言

广告拍卖机制在广告系统中起到重要的作用，直接决定了广告效果和平台收入。在典型的点击计费（CPC）多坑广告拍卖场景下，在一次用户请求中有多个广告坑位以供销售。广告拍卖机制获取候选广告主的出价，根据分配和定价算法，决定广告位的分配结果以及点击后广告主需要支付的价格。广告物料和来自推荐系统的推荐物料一起向用户展示。从经济学视角看，最优广告拍卖设计可以看作一个优化问题：目标是最大化期望收入，即广告主的总付费，同时需要满足激励相容性（Incentive Compatibility, IC）和个体理性（Individual Rationality, IR）的约束。IC 要求广告主真实报价总是能最大化其自身效用，而 IR 要求广告主付费不超过其对广告点击的真实估值。

可以看出，广告拍卖机制的设计依赖于对于以点击率（CTR）为代表的广告商品展示效果的精确预估，但在实际场景中，商品展示效果会受到相互之间的外部性影响。例如，当类似种类的商品同时展示时，用户会比较它们的价格、外观和功能，以作进一步决策，因此每个商品的展示效果都受到周围商品的影响，称为外部性影响，这一现象在近年来开始受到学术和工业界的广泛关注。然而，传统的广告拍卖通常简化或忽略了外部性。例如，广泛使用的 GSP 拍卖机制基于可分离 CTR 模型（Separable CTR Model），假定广告的点击率只由广告内容和位置决定，而完全忽略了其他商品的影响。因此传统的广告拍卖机制在考虑外部性时不再适用。

外部性影响对于最优广告拍卖的设计带来了许多挑战。由于现实中外部性影响依赖于用户特征、商品特征等，具有很高的复杂性，通常只能进行黑盒建模。由于广告的点击率受到上下文中其他商品的影响，即使对分配进行微小修改，也可能导致广告拍卖的预期收入发生复杂的变化。一般而言，当对于外部性结构不作具体假设时，计算具有最大社会福利（Social Welfare）的分配方案是 NP 困难的。因此，如何设计高效实用的分配算法是一个非平凡的问题。另一方面，由于外部性影响的存在，拍卖机制更难控制每个广告主得到的效用，因此 IC 和 IR 等约束更难满足。

本文旨在提出一个数据驱动的广告拍卖框架，以在考虑外部性的情况下实现收入最大化，同时确保满足 IC 和 IR 约束。我们首先结合理论分析提出 Score-Weighted VCG 框架，将最优拍卖机制的设计拆解为一个单调得分函数的学习和一个加权福利最大化算法的设计。基于这一框架，我们提出一个实用的实现方案，利用数据驱动的模型实现最优拍卖机制。

3. 建模与前置结论

我们将任意外部性影响下的多广告位拍卖建模为一个单参数拍卖模型（即每个广告主在一次请求中仅提交一个报价，代表一次点击对其价值，而不是对每个坑位分别报价），其中可行分配集合反映了外部性影响，然后利用理论文献结果 [1] 对最优拍卖机制进行刻画。

假设在一次请求中，页面上有个广告坑位需要分配给个广告主。每个广告主的特征信息表示为一个向量，包含其广告的内容、类别等特征以及与用户和自然结果的交互特征。每个广告主对于一次点击的真实估值为，服从一个由决定的先验分布。每个广告主根据自己的真实估值向拍卖机制提交出价，随后广告拍卖机制根据全部广告主的出价决定一个分配方案，表示为一个的 0-1 矩阵，其中当且仅当第个坑位分配给了第个广告主。

在外部性影响下，每个广告的点击率可能依赖于整个分配方案。我们使用表示当分配方案为、全体广告主特征为时广告主的广告被用户点击的概率。特别地，如果在中广告主没有得到广告坑位，则。

一个拍卖机制由分配规则和定价规则组成。分配规则输出一个分配方案，而定价规则计算每个广告主的广告的点击价格。在点击率模型下，每个广告主的期望点击量记为，而期望付费记为。每个广告主希望最大化自己的效用。

拍卖机制通常需要满足激励相容性（Incentive Compatibility, IC）与个体理性（Individual Rationality, IR）的条件。IC 要求对每个广告主来说，无论其他广告主出价为何，诚实报价总是能最大化他的效用。这使我们可以总是假设。而 IR 要求广告主的效用总是非负，即。

广告拍卖机制设计的目标是在 IC 和 IR 条件约束下最大化平台期望总收入，可以写为一个带约束优化问题：

根据拍卖理论文献 [1] ，最优拍卖机制的充分必要条件是：

1. 分配规则满足单调性，即关于单调不减。

2. 分配规则最大化“虚拟福利”（Virtual Welfare），其中是 Myerson 虚拟估值函数 [1] ，由广告主的真实估价分布决定。

3. 定价规则由分配规则唯一确定：

4. Score-Weighted VCG 框架

为了更好地处理外部性影响，我们提出一个通用框架，称为 Score-Weighted VCG（SW-VCG）框架，将一个单调得分函数和一个加权福利最大化算法组成一个拍卖机制。尝试估计，同时需要关于单调不减；对于任意向量尝试找到最大化加权福利的分配方案。一个遵循 SW-VCG 框架的拍卖执行如下步骤：

1. 使用单调得分函数，将每个广告主的出价映射为他的分数。

2. 运行加权福利最大化算法，输出分配方案。

3. 根据公式 = - 计算定价

在论文中，我们从理论上证明了 SW-VCG 框架具有良好的性质。

1. SW-VCG 框架能够表达最优拍卖机制。当得分函数，且总是最大化加权福利时，构成的拍卖机制严格满足 IC 和 IR，并且获得理论最优的收益。

2. SW-VCG 框架是可学习的。泛化误差界的证明，表明从样本中学习以得到得分函数是可行的。

3. SW-VCG 框架对于误差有较强的鲁棒性。只需得分函数与充分接近，且所得的加权福利与最优值充分接近，其组成的 SW-VCG 拍卖机制就能获得接近最优的收益。

通过 SW-VCG 框架，我们将外部性下的拍卖机制设计分解为两个独立的子任务，其一是从广告主出价样本数据中学习虚拟估值函数，其二是设计合适的算法求解在外部性影响下最大化加权福利的分配方案。我们可以发现前者与分配结果以及外部性影响下的点击率无关，而后者与广告主出价分布无关，因此分别解决两个子任务相比于直接着手设计在外部性下的广告拍卖降低了难度，更易于取得良好效果。

5. 基于匹配的 SW-VCG 拍卖模型

在 SW-VCG 框架下，我们提出了一个基于数据驱动方法的实现：引入对于外部性影响的结构化假设，设计了具有实用性的广告拍卖机制模型。我们的模型包括四个关键组件：1）特征预处理模块，2）单调评分函数模块，3）分数加权福利最大化模块，4）定价模块。

5.1 特征预处理模块

特征预处理模块使用一个多层神经网络，将每个广告主的特征转换为一个表示向量，表示此广告主出价分布的特征。

为了更好的学习特征 embedding，我们采用了一种基于分位数回归[2]的预训练任务，帮助从原始特征中提取广告主出价分布特征。具体地，我们在后添加了一个辅助神经网络，以表示向量和分位数作为输入，并输出估计出价 。我们使用一个变体的分位数回归损失函数：

对于和进行梯度下降训练。这使得能够有效表示给定时的出价分布，并区分不同的出价分布。

5.2 单调得分函数模块

单调得分函数模块将映射到每个的得分。为了保证关于中单调不减，我们将转换为一个单调函数的参数，然后将该函数应用于出价以获得得分。具体地，我们令，是如下关于的分段线性函数：

其中都由神经网络以为输入计算得到。对于任意，我们保证非负，从而关于单调。可以证明这一结构能够近似任意单调不减的函数。

特征预处理模块和单调得分函数模块组成了 SW-VCG 框架中的得分函数。我们已经在前文提到了特征预处理模块的预训练方法，它指导特征预处理模块学习出价分布的特征。在预训练结束后，我们设计了一种训练整个得分函数的方法，与其后的分配算法完全解耦，不需要获取整个拍卖机制的分配结果就能实现得分函数的训练。通过分析一种假想的单广告主的拍卖场景，我们设计了一个随机化的损失函数：给定数据样本，我们从中采样，并定义损失函数：

可以证明，使期望损失最小化的得分函数就是 Myerson 虚拟价值函数。注意到这一损失函数提供了有意义的梯度，因而我们可以通过随机梯度下降等优化算法对于得分函数进行训练。由于每个广告主的出价分布仅取决于她自己的特征，因此得分函数可以在不知道其他广告商的出价和最终分配的情况下正确地训练。

5.3 分数加权福利最大化模块

分数加权福利最大化模块以得分和上下文信息作为输入，并解决 SW-VCG 框架中的加权福利最大化问题。然而，当不对外部性影响的结构作任何假设时，这是一个 NP 困难问题，无法高效求解。在我们的实现中，我们作出一个实际假设，即点击率由一个基于位置的外部性模型给出，其中每个广告的 CTR 仅取决于上下文和它被分配到的坑位，而与其他广告的分配无关。形式地，在任何将广告分配给坑位的分配中，广告主都获得相同的点击概率，表示为。我们可以写成：

这一 CTR 模型能够在实践中提供良好的准确性。我们观察到，在实际场景（如信息流）中，为了保证用户体验，页面上的大部分结果都是自然结果，而广告数量较少。因此，每个广告受到的外部性影响主要来自周围的自然结果。而自然结果的分配和上下文可以包含在中，这允许我们充分精确地估计。此外，这种 CTR 模型的表达能力能够统一表示许多现有的 CTR 模型。例如，常用的可分离 CTR 模型可以表示为，其中和分别表示可分离 CTR 模型中的广告质量和坑位质量。

这种 CTR 模型为加权福利最大化问题提供了足够的结构，消除了计算困难。在这种模型下，加权福利最大化问题可以写成：

这实际上是一个最大权二分匹配问题，权重为。由于最大加权二分匹配问题可以使用匈牙利算法 [3] 在时间内解决，我们可以高效地获得加权福利最大化分配。

5.4 支付模块

根据拍卖理论文献，对于任何满足分配规则单调的广告拍卖，激励相容性成立的充要条件是期望付费满足，我们称之为 IC 定价。一般地说，可以使用使用数值积分或蒙特卡洛估计精确计算IC定价。

而在我们的实现中，由于我们采用了基于匹配的加权福利最大化模块，精确的 IC 定价可以确定性且高效地计算。给定得分向量，设表示由最大加权二分匹配问题确定的分配中广告商的CTR，则是关于的一个单调不减的分段常数函数。[4] 提出的一种算法可以在时间内计算匹配算法的分配曲线，即关于的间断点。由于是关于的单调分段常数函数，我们可以高效地对所有的间断点求逆，得到对应的。从而我们可以将表示为关于的分段常数函数，并精确计算对每个广告主的 IC 定价。

6. 实验

我们在虚拟数据集和淘宝真实数据集上通过实验评估基于匹配的 SW-VCG 实现的有效性。对于虚拟数据，我们生成已知分布下的出价数据，并将我们模型的收入与理论上限进行比较。对于真实数据，我们使用淘宝广告系统重排拍卖的真实离线数据作为训练集和测试集，并将 SW-VCG 模型效果与常用的 VCG、GSP 以及仿射福利最大化拍卖（AMA）[5] 进行比较。

6.1 合成数据

对于合成数据，我们生成具有不同出价分布的数据集，包括均匀分布、指数分布、对数正态分布和一种非正则分布。基于这些出价分布，可以精确计算每个广告商出价的 Myerson 虚拟价值函数，并计算出理论上的最优收入。我们在不同的情形下评估我们的模型，考虑了广告主特征连续或离散、广告商出价的条件分布类型、生成点击率的方法三方面的差异。对于每个设置，我们使用包含 100000 次拍卖的训练集训练我们的 SW-VCG 模型，并使用 5000 次拍卖测试模型的收入，实验结果列在表 1 中。在几乎所有情形下，我们的模型都获得了达到理论最优收入 99％ 以上的收入，并且显著优于 VCG 和 GSP。

表1：在虚拟数据集上 SW-VCG 框架的效果表现

6.2 真实数据

我们还使用淘宝广告系统的真实日志数据进行了评估，涉及 8662 个广告商和 100000 次拍卖。对于来自用户的每个广告请求，在最终拍卖阶段，大约有 30 个广告商被广告系统选为候选人参加拍卖，并提交出价。为了获得得分函数使用的特征向量，使用了离散和连续特征，包括广告的 ID、广告类别 ID、广告的价格、用户的分类信息和用户历史行为。日志数据还包含每对广告-坑位的考虑外部性的 pCTR。

训练和测试数据集分别包括 90000 次和 10000 次拍卖。我们使用训练数据集训练我们的 SW-VCG 模型和作为基线的 AMA 拍卖模型，然后测试每个模型的收入和社会福利，同时也评估了 VCG 和 GSP 拍卖。实验结果列在表 2 中。我们可以看到，SW-VCG 模型获得了最高收入，显著高于所有基线。此外，与 AMA 拍卖相比，我们的 SW-VCG 模型获得了更高的收入和更高的社会福利。这一结果表明，我们的单调得分函数模块能够有效地近似数据分布的虚拟价值函数，使我们的模型能够获得更高的收入，同时避免不必要的社会福利损失。值得注意的是， GSP 拍卖不满足 IC 约束，这意味着在某些特殊设置下，GSP可能获得超过任何 IC 拍卖的收入的理论上界的收入。人们可能因此担心从目前广泛使用的 GSP 切换到 IC 的拍卖会导致收入降低。然而，我们在真实数据上的结果显示，在所有场景下，我们提出的 SW-VCG 拍卖都比 GSP 获得了更多收入，这表明不需要为了收入牺牲 IC 性质。

表2：在真实数据集上 SW-VCG 框架的效果表现

7. 总结

本文研究了在外部性影响下的最优多坑广告拍卖，并提出了 SW-VCG 框架，能够在达到最优收入的同时严格遵守 IC 和 IR 性质，且对于近似误差具有鲁棒性。基于 SW-VCG 框架，我们设计了一种适用于实际场景的基于匹配的数据驱动的广告拍卖模型。在合成数据和真实数据上的实验表明，我们的模型表现接近于理论最优结果，并在所有场景下都超过了现有方法。

▐ 参考文献

[1] Dütting P, Feng Z, Narasimhan H, et al. Optimal auctions through deep learning[C]//International Conference on Machine Learning. PMLR, 2019: 1706-1715.

[2] Koenker R, Bassett Jr G. Regression quantiles[J]. Econometrica: journal of the Econometric Society, 1978: 33-50.

[3] Kuhn H W. The Hungarian method for the assignment problem[J]. Naval research logistics quarterly, 1955, 2(1‐2): 83-97.

[4] Cavallo R, Sviridenko M, Wilkens C A. Matching auctions for search and native ads[C]//Proceedings of the 2018 ACM Conference on Economics and Computation. 2018: 663-680.

[5] Sandholm T, Likhodedov A. Automated design of revenue-maximizing combinatorial auctions[J]. Operations Research, 2015, 63(5): 1000-1025.

🔍 本期话题：广告和自然结果如要融合排序，相应的分配和扣费机制应该要怎样设计，最大的挑战是什么？欢迎评论区留言讨论~

期待在评论区看到你的观点❥(^_-)

END

也许你还想看

丨PerBid：在线广告个性化自动出价框架

丨Bidding模型训练新范式：阿里妈妈生成式出价模型（AIGB）详解

丨新一代自动出价范式：在线强化学习SORL框架

丨Auction Design in the Auto-bidding World系列一：面向异质目标函数广告主的拍卖机制设计

丨万字长文，漫谈广告技术中的拍卖机制设计（经典篇）

关注「阿里妈妈技术」，了解更多~