探讨AB实验中的分层实验原理与实施方法

1、背景

AB 实验是 “特性管理” 的主要应用场景之一。随着业务功能、实验数量的增加，特别是对实验流量的管理需求，需要建立统一的组织和规划。在本文中，我们将简要介绍通用实验流量的管理办法，并介绍如何在 FeatureProbe 中实现这种流量管理。

1.1 实验的冲突

大家对实验的冲突和实验的层域规划设计的认识，大多来自于早期 Google 关于 AB 实验的论文《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》。这里简单回顾一下在什么情况下实验会出现冲突。在同一时间段内，如果只执行一个实验，这意味着同一个用户不会同时参与两个不同的实验，而只会分配到一个实验的A组或B组。然而，通常情况下，即使产品不像 Google 搜索系统那样复杂，也可能需要同时上线多个新功能，这就要求我们同时进行多个 AB 实验。如果我们将所有实验按照时间顺序一个一个进行，验证所有功能所需的时间将会变得非常漫长。

从效率的角度考虑，我们需要能够同时进行多个实验，以节省时间。但从准确性的角度来看，我们不希望同时进行多个实验会导致与一次只进行一个实验时不同的结果。换句话说，我们需要确保实验之间不会互相干扰，使得同时进行多个实验的结果与一次只进行一个实验的结果一致。

2、实验层方案

2.1、原理

实验层的方法通过流量分配来实现多个实验的隔离。简而言之，它将所有用户分成相互隔离的组，然后将每个组的用户引导到不同的实验中（再进一步将组内用户分为实验的A组和B组）。这意味着同一用户只属于一个特定的组，即每个用户只能参与一个实验，从而确保各个实验之间互不影响。

• 优点：实验之间用户完全隔离，适用于任何需要绝对隔离的实验场景（即不允许同一个用户同时进入两个实验）。
• 缺点：流量硬性分割，在总用户量很小的情况下每个实验分到的用户数量可能很小，导致无法获得统计显著所需要的样本量。

2.2、在 FeatureProbe 中配置实验层与实验

FeatureProbe 的功能设计注重通用性和最小化，因此它当前不直接提供实验层的页面配置和管理。不过，我们可以通过使用前置开关（Prerequisite flag）功能来实现实验层的设置与管理。
假设一个场景：我们现在需要一个流量层，其中一部分流量需要被隔离用于两个相互不影响的实验，而剩余的流量需要被保留以备未来可能需要上线的实验。以下是如何进行配置的介绍：