AB实验原理及案例实例（python代码实现）

1.背景介绍：AB实验的由来

        在产品迭代过程中，每一个功能点的改进不是产品经理靠经验和拍脑袋想出来的，这就需要我们设置一个对照实验来分析功能点的改进对于我们所关注的核心指标是否有改进。运用 AB 实验，找到一部分小流量用户，并对于这部分用户提供改进的功能点，帮助我们去测试改进功能点的效果。例如：某社交APP增加了“看一看”功能，即用户之间可以查阅到对方所填写的一些基础信息，现在要分析该功能是否有效果。

2.AB实验及其原理：

    AB实验的本质就是同质样本组的对照实验。

    原理：有两个同质的样本组，对其中一个组做出某种改动，来观测这个改动对于所关注的核心指标是否有显著的影响。它的原假设是：这项改动并不会对所关注的核心指标有显著性影响。如果在做完实验后，发现p值足够小，则推翻原假设，证明这项改动会对原假设产生影响。

3.实验流程：

（1）确定实验目标和核心观测指标。

（2）确定零假设与备择假设：例如我们的核心指标为加好友率，零假设就是该功能无效果，即两个实验的加好友率无明显差异。备选假设则相反。

（3）分配实验流量：

      如果样本量太小，得出的结论容易受到偶然性因素的影响。如果样本量很大，会增加工作量，实验成本太高。 

   统计学里有最小样本量计算的公式：

   说明：1、n是每组所需样本量，因为A/B测试一般至少2组，所以整个实验所需样本量为2n；2、α和β分别称为第一类错误概率和第二类错误概率，一般分别取0.05和0.2；3、Z为正态分布的分位数函数；4、Δ为两组数值的差异，如注册转换率50%到60%，那么Δ就是10%；5、σ为标准差，是数值波动性的衡量，σ越大表示数值波动越厉害。

    可以通过