【阿里妈妈数据科学系列】第四篇：Bootstrap方法在AB TEST中的应用

▐  前言

在【阿里妈妈数据科学系列】前三期内容中，我们粗略的介绍了AB TEST 基础知识与框架，本期开始将着重细化介绍 AB TEST 每一个部分具体的方法论与技术，包括实验设计、实验数据分析、实验中常见的误区等。本期我们将介绍 Bootstrap 方法在实验统计推断中的应用。在实际的场景下，统计推断是 AB TEST 不可或缺的一部分，一次实验的结论是否真的显著，均需要通过统计推断的方法进行证明，否则我们无法判断实验效果是否来自实验因素或者随机扰动。如我们前几期里提到过的，常见的实验统计推断方法来自假设检验理论，我们通过大数定律以及假设检验理论结合，以实验组和对照组的数据构造一个假设检验流程，具体细节可以参照此前的文章。但是在实际的应用中，我们可能会遇到如下的问题：

• 实验样本量太小，即便可能存在效应也无法有效的检验出显著的效果

• 检验指标构造复杂，如两随机变量的商构造的指标，例如CTR=CLICK/PV，此处PV、CLICK均为随机变量，在计算CTR的方差时，需要采用不同的计算方法来近似计算方差。

• 样本数据倾斜严重，头部效应明显，个别样本会严重影响整体效果的差异。

面临上述问题是，常规的统计推断方法也有一定的解决方案，但是会更复杂，而且需要 case by case 的分析，此时 Bootstarp 的方法能够很好的解决上述的问题。

▐  基本思想

Where there is sample, there is uncertainty。

英语 Bootstrap 的意思是靴带，来自短语：“pull