一 背景概述
在广告主预算的强约束条件下追求整体收益的最大化是广告业务场景最独特的特点之一,精准广告算法的迭代无一不建立在这个约束条件之下。随着业务发展,部分算法策略开始将预算的影响因素也纳入到算法模型之中。预算的设定是广告主行为,日常投放产生的消耗必须严格控制在设定的预算金额内,这给算法实验带来了很大的困扰。
算法实验的最常用方法是对通过控制变量后的策略进行AB Test实验,即在其他条件一致的前提下,分别使用策略A、策略B(主要影响打分或出价)对广告进行召回,最终统计业务效果进行对比。在实验过程中,要保证流量规模、竞价环境、系统参数等完全一致。然而,预算作为竞价环境中重要的一环,在当前的实验过程中却无法保证AB隔离且一致,严重降低了实验数据的置信度。
二 场景分析
2.1 相关假设
在举例讨论预算无法隔离带来的实验效果负面影响之前,先简单介绍下后文场景中尾为了简化真实场景而做的假设。
- 所有计划均为cpm计费
- 按照第一高价的模式计费,但竞价环境与按照广义第二高价计费时一致(当竞价足够充分时,这个近似是成立的)
- 每个pv一定展现出价最高的广告,如果出现多个广告同时达到最高出价的情况,则等概率展现
2.2 预算的间接耦合
假设存在一个由计划1、计划2两个计划组成的竞价环境,计划预算均为900元。现有两个出价策略:
- 策略A,计划1出价为1元,计划2出出价为1元
- 策略B,计划1出价为2元,计划2出出价为1元
现