A/B测试

A/B测试，谁不知道啊？不就是将实验对象分流成为两组或者更多组，监测产品某一变量的改变对于业务指标的影响吗？恭喜你答对了一小部分。

然而，你是否100%相信只进行了一天或几小时的A/B测试结果，进而决定一次产品的快速迭代？

以下图为例，我们看到一个进行了一周的A/B实验，某些天A的指标好于B，某些天B的指标好于A，但实验期间整体的指标A好于B。

这时候，你会面临一些问题：似乎目前的结果还不能得出结论，是否需要继续观察几天？实验的样本量是不是太小了？再观察两天就能得出确定性的结论了吗？产品的迭代速度不允许更久的观察期怎么办？

为了回答这些问题，我们需要先了解一些关于A/B测试背后的统计学原理，目前市面上的主流方法，就是频率学派和贝叶斯学派这两种。

为了让大家能有更好的体验，这篇文章里不会出现公式，只是讨论一下频率学派与贝叶斯学派在A/B测试之间的区别。

相比较频率学派A/B测试，贝叶斯A/B测试周期更短：

首先，针对用户活跃变化大，难以预估样本量和实验时长的问题，只要确定了实验观察变量及其先验，贝叶斯A/B测试可以不用预估样本量就开始观察，能很好地解决频率学派A/B测试实施之前诸多的实验设置问题，同时也为前期实验设计节省了工作量。

其次，与频率学派A/B测试必须要等到实验结束才能评估结果不同，贝叶斯的方法可以实时地观测和评估实验结果。这样，基于贝叶斯的A/B测试就可以根据实验的实时评估结果灵活决定是要继续实验还是停止实验做出决策。

此外，贝叶斯A/B测试相对于频率学派的A/B测试可以只要更少的样本得到结论，这样就可以更快的进行A/B测试的迭代。对于那些采用频率学A/B测试需要耗时很久，且提升效果不是非常显著的版本更新实验，我们可以采用贝叶斯A/B测试更快地得出结论，从而可以快速实验众多小的产品改进，最终实现大的版本迭代。

频率学派A/B测试 VS 贝叶斯学派A/B测试

现在已有的很多头部公司都在使用A/B测试来优化自己的产品，比如Google的Firebase， Optimizely， VWO。VWO公司就是基于贝叶斯的方法，而阿里内部的一休（yixiu）和蚂蚁金服的Darwin，Quora，Optimizely，Netflix，Testin A/B大都是使用频率学派的方法。

频率学派与贝叶斯学派的A/B测试，其实各有优劣。我们在进行A/B测试的时候，可以根据实际业务的需求，选择更适合自己的A/B测试方案。

---

---

---

参考资料：
什么是 A/B 测试？
适用于在线服务的A/B测试方法论
A/B测试：实现方法