超全！腾讯数据科学家深度长文讲透AB实验

导读：在数字化时代的大背景下，在数据驱动的产品增长理论和实践中，AB实验起的作用越来越重要。越来越多的岗位需要产品、运营、数据等职位候选人掌握AB实验相关的知识。

作者：刘玉凤

来源：华章计算机（hzbook_jsj）

本文首先介绍AB实验的基本概念和原理，然后介绍AB实验的3个基本要素—实验参与单元、实验控制参数、实验指标，以及对于这3个基本要素的要求，之后介绍AB实验的2个核心价值——验证因果关系和量化策略效果，接着介绍在实践应用中AB实验的2个关键特——先验性和并行性。

01

什么是AB实验

近几年随着增长概念的普及，其重要增长手段——AB实验的曝光度也越来越高。AB实验从推荐系统诞生开始，AB实验就扮演着重要的角色

1

AB实验的定义

AB实验又称为受控实验（Controlled Experiment）或者对照实验。AB实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著的差异，从而确定测试用药是否有效。

2000年，Google工程师将这一方法应用在互联网产品测试中，此后AB实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC应用程序、移动应用程序、电子邮件等）上运行着大量的AB实验。这些公司每年进行数千到数万次实验，涉及上亿的用户，测试内容涵盖了绝大多数产品特征的优化，包括用户体验（颜色、字体和交互等）、算法优化（搜索、广告、个性化、推荐等）、产品性能（响应速度、吞吐量、稳定性、延迟）、内容（商品、资讯、服务）生态管理系统、商业化收入等。

因为AB实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线AB实验或者在线对照实验（Online Controlled Experiment，OCE）。本文如果没有特殊说明，提到的AB实验均指在线AB实验。常见的在线AB实验中，用户被随机、均匀地分为不同的组，同一组内的用户在实验期间使用相同的策略，不同组的用户使用相同或不同的策略。同时，日志系统根据实验系统为用户打标记，用于记录用户的行为，然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用，是否符合实验预先的假设。如图1所示，图中流程概括了AB实验的经典模式。

图1　AB实验流程

将图1所示的流程应用到产品迭代中，就是将具有不同功能、不同策略的产品版本，在同一时间，分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的，一般只占总体用户的一小部分，而且不同组用户的属性、构成成分是相同或相似的。先通过日志系统、业务系统收集各组用户的行为数据和业务数据，然后基于这些数据指标分析、评估出相比之下更好的产品版本，最后推广到全部用户。

以图2为例，我们试图通过AB实验找出哪个颜色的横幅位点击率更高：A组保持浅色横幅不变，B组采用深色的横幅，分析哪个颜色更能引起用户的关注，提升用户的点击率。如果通过实验发现深色横幅的点击率更高，就将深色横幅位推广到全部用户。当然，在实际应用中，AB实验的效果评估一般没有这么简单，比如除了点击率之外，还需要综合考虑其他的指标。

图2　AB实验测试哪个颜色横幅位点击率更高

2

AB实验的类型

从不同分类视角来看，AB实验有着不同的类型。

• 从实验实施的产品形态来看，AB实验可以分为App类型、PC类型、网页页面类型等。

• 从实验代码运行的机制来看，AB实验可以分为前端页面类型、后端服务类型等

• 从实验分流的对象来看，AB实验可以分为用户类型、会话类型、页面类型、元素类型等。

• 从实验服务调用的方式来看，AB实验可以分为SDK类型、接口服务类型等。

• 从实验内容来看，AB实验可以分为