ab test -- 实验效果不显著的改善方法 -- CUPED

最新推荐文章于 2025-02-27 10:17:07 发布

浮豹

最新推荐文章于 2025-02-27 10:17:07 发布

阅读量7.9k

点赞数 5

分类专栏：数据分析方法文章标签：数据分析 ab测试

版权

20 篇文章

订阅专栏

一、实验效果不显著怎么办为了使A/B实验得到统计显著的结果，有三个思路：

微软2013年发表过一篇论文（文末链接），介绍了一种利用实验前的数据来缩减指标方差，进而提高实验灵敏度的方法，这种方法就是本文要介绍的CUPED（Controlled-experiment Using Pre-Experiment Data）。

CUPED的核心思路是构造了一个新的指标，假定实验原来观测的指标为Y，新的指标为Ycv（cv表示control variable），且将Ycv定义如下：
在这里插入图片描述

构造出来的Ycv有很好的特性，一是Ycv的均值是我们实验关注的指标Y的无偏估计，二是Ycv的方差小于原来指标的方差。如果能选取跟Y高度相关的协变量X，那么Ycv的方差相比Y将会小很多。
在这里插入图片描述

2.3.1 协变量X的选择非常关键

因为Var(Ycv)=Var(Y)*(1-ρ^2)，而ρ是X和Y的相关系数。也就是说如果能找到一个跟Y最相关的变量X，那么Ycv的方差最小，从而方差缩减效果最明显。

根据论文作者所述，多数时候最相关的还是原来这个指标，比如实验要比较的是时长的差异，即Y为实验的时长数据，那么X就选实验用户在实验前的时长数据。实验前数据应该选取多长周期呢，一般选一周到两周就够了。注意这里X和Y都是向量，即实验中每个用户在实验前的时长和实验时的时长。

2.3.2 实验前数据如果没有的解决办法

因为实验中可能有新用户，或者用户活跃频次原因，实验中的用户在实验前不一定都能找到对应数据。

这种情况下该怎么处理呢？微软论文提到可以再引入一个二元协变量，来表示该用户是否在实验前所选周期内出现了。不过Booking.com用的是另一个处理方法，是采用实验前指标的均值来填充那些在实验前所选周期未出现用户的指标的值。

2.3.3 不止于实验前数据

协变量的数据不止可以用实验前数据，也可以用实验期间的数据，只是一定要保证所选的这个变量不会受实验策略的影响。比如用户首次进入实验的所属当天星期几就可以作为一个协变量。

另外，任何在实验策略效果生效前的实验期间的数据都满足不受实验策略影响的限制，因此都可以作为协变量，尤其是实验策略生效比例极低的情况下，这些数据用来做协变量可能会很有用。

2.3.4 非用户级别指标的处理方法

因为前面假设实验的基本单元和指标计算的基本单元是用户，如果实验指标的计算单元更细，比如CTR，那么需要delta method和方差缩减一起使用。这时候协变量也就不止限于用户级别数据了，更细粒度如页面级别也是可以的。

微软论文 https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf
Netflix论文 https://www.kdd.org/kdd2016/papers/files/adp0945-xieA.pdf
Booking博客 https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d
TripAdvisor博客 https://www.tripadvisor.com/engineering/reducing-a-b-test-measurement-variance-by-30/
Uber博客 https://eng.uber.com/xp/
博客园风雨中的小七的博客 https://www.cnblogs.com/gogoSandy/p/11749262.html