五分钟掌握AB实验和样本量计算原理

AB实验简介

什么是AB实验

将测试对象随机分成A,B两组，然后比较两组之间的差异
AB测试是为Web或App界面或流程制作两个（A/B）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

需要满足的条件：
对照组：有其他对照组作为对比，就能真正看出来效果。而且不同组间的效果差异要足够明显，才能验证我们的判断
随机性：为了排除实验条件以外的干扰因素，我们需要确保两个组的用户是随机选取，这是为了排除用户差异对实验结果的影响
大样本：这里的样本量是指数据量，包括用户、行为和时间跨度，样本量越大，越容易排除个体差异的影响，也更容易验证统计上的显著性

AB实验的原则

唯一变量：
AB实验时需要保证除了要实验的变量之外，实验组和对照组其他的“变量”都是均匀的，包含但不限于：
时间、环境、样本属性等
多层实验如何保证唯一变量：
分流因子通过加入不同的字符串（实验名）作为离散因子，保证每层都是正交分布，防止层与层之间有交集。

AB实验涉及的统计学基础

抽样

实验的思想：
用能近似代表总体的样本推断总体的分布(假设检验)，利用样本指标近似代替总体指标，继而进行决策；
如何保证：
近似代表总体的样本需满足以下2项条件：
1、随机抽样：实验中的样本是随机抽取的。而且抽取的算法能够充分保证了抽样的随机性。
2、样本能近似代表总体：
样本量越大，通过样本去评估总体的误差就越小。当误差小于我们需要的精度时样本量就足够了。
$$\begin{gathered} E(\bar{X})=E(1/n\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\mu \\ D(\bar{X})=D(1/n\sum _{i=1}^n{X}_i)=\frac{1}{n^2}\sum _{i=1}^{n}D(X_i)=\frac{1}{n}{\sigma }^2 \end{gathered}$$
所以当n较大时， $\bar{X}$近似服从$N(\mu ,\frac{{\sigma }^2}{n})$，等价地有$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$。
中心极限定理（central limit theorem）：设均值为$\mu$、方差为${\sigma }^2$（有限）的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值$\mu$的抽样分布近似服从均值为$\mu$、方差为 $\frac{1}{n}{\sigma }^2$的正态分布。

样本量计算

样本量计算公式：
均值检验样本量预估： n = ( Z 1 − α / 2 + Z 1 − β ) σ 2 E 2 n=\frac{(Z_{1-\alpha/2}+Z_{1-\beta})\sigma^2}{E^2} n=E2(Z