在字节，A/B 实验是这么做的！

主要为大家介绍了为什么要做 A/B 测试、火山引擎的 A/B 测试系统架构及字节跳动内部 A/B 测试的最佳实践。

为什么要做 A/B 测试

首先我们看一个案例。

字节跳动有一款中视频产品叫西瓜视频，最早它叫做头条视频。为了提升产品的品牌辨识度，团队想给它起个更好的名字。经过一些内部调研和头脑风暴，征集到了西瓜视频、奇妙视频、筷子视频、阳光视频 4 个名字，于是团队就针对一共 5 个 APP 名称进行了 A/B 实验。

这个实验中唯一改变的是应用市场里该产品的名称和对应的 logo，实验目的是为了验证哪一个应用名称能更好地提升“头条视频” APP 在应用商店的点击率。最后西瓜视频和奇妙视频的点击率位列前二，但差距不显著，结合用户调性等因素的综合考量后，最终决定头条视频正式更名为西瓜视频。

通过这个案例可以看到，A/B 测试可以帮助业务做最终决策。结合案例的直观感受，我们可以这样来定义 A/B 测试：在同一时间对目标受众做科学抽样、分组测试以评估效果。

以上图图示为例，假设我们有 100 万用户要进行 A/B 测试：

先选定目标受众，比如一线城市的用户。

A/B 测试不可能对所有用户都进行实验，所以要进行科学抽样，选择小部分流量进行实验。

抽样之后需要对样本进行分组，比如 A 组保持现状，B 组的某一个因素有所改变。

分组之后在同一时间进行实验，就可以看到改变变量后用户行为的变化。

再根据对应实验目标的指标，比如点击率的高低，来评估实验的结果。

以上就是我们对 A/B 测试的定义。

目前，A/B 测试已被 Google、Facebook、亚马逊等大型互联网公司广泛采用；字节跳动更是在 2012 年成立之初便开始使用 A/B 测试，公司内部一直流传一句话：一切皆可 A/B 测试。

A/B 测试在字节跳动已是非常基础的设施和文化，目前，字节跳动日新增实验 1500+，那我们为什么要做 A/B 测试呢？主要有 3 点原因：

1. 风险控制：小流量实验可以避免直接上线效果不好造成损失。其次，实验迭代的过程中，决策都是有科学依据的，可以避免系统性的偏差。

2. 因果推断：我们相信 A/B 实验中的优化和改变最终能影响到线上数据以及用户的行为。在这个前提下，A/B 测试就是最好的因果推断工具。

3. 复利效应：A/B 测试是可以持续不断进行的实验，即使一次实验提升的效果不大，但是长期下来复利效应的积累会产生很大的变化和回报。

A/B 测试系统实现

了解了我们为什么要做 A/B 测试，下面我们来看一下火山引擎的 A/B 测试系统是如何实现的。