A/B-Test原理详解

A/B-Test是一种对比分析方法，通过对用户进行随机分组，根据单一变量的原则为每一组用户分配一个实验方案，在相同的时间维度观察用户的反应，以确定最佳方案。

从本质上来讲，A/B-Test属于试验范畴。通过假设检验的统计学原理，来推断某些策略的效果。

假设检验

假设检验分为两步：假设 —> 检验。

假设检验的思想其实是一个倾向于推翻假设的过程。这是因为我们证明一个结论一般很困难。

证明一件事有两种方式：从理论公式上严格推导，或者穷尽所有情况。

• 对于从理论上严格推导，最常见的一个例子是高等数学中支撑实数完备理论的七大基本定理(确界原理、柯西收敛准则、区间套定理、单调有界定理、致密性定理、聚点定理和有限覆盖定理)的互相推导和证明。
• 对于穷尽方法，最著名的方法是数学归纳法。

为什么举上面两个关于证明的例子呢？就是为了说明证明一个结论很难。

既然证明一件事这么难，我们是不是可以反其道而行，使用反证法。
直接证明太困难，反证则容易的多，因为我们只需要举出一个反例就可以说明一个结论不成立。
假设检验就是一个反证的过程，但是这里有一点区别，到了概率论这里是软证明，我们将概率的思想融于反证法，以一定概率来给出确定的结论。

那么对于假设的设计遵循这样的思想：我们做A/B实验，希望得到的结论是我们的策略产生了效果，直接证明缺乏确凿的证据，那我们使用反证法，首先假设A/B组实验指标无差异，一般是A/B组的指标均值无差异，再通过举出反例去推翻这个假设。

所以假设一般成对出现，分为原假设和备选假设。

原假设：A/B组的指标均值相同，无显著性差异；
备择假设：A/B组的指标均值不同，有显著性差异。

解决了假设的问题，我们来设计检验的部分。

对于一个事件(A/B组的指标均值无差异)，我们应该怎么举出反例呢？统计学有一个经典的思想是小概率事件几乎不可能发生，那么如果我们找到了一个小概率事件发生了，我们就找到了解题的钥匙。
所以，问题转移到如何找到小概率事件，想找到小概率事件，首先要把小概率事件定义出来，为了定义小概率事件，我们首先要把事件的分布搞出来，才能圈定小概率区域；那么原假设A/B组的指标均值无差异这个事件分布是如何呢？

抽样分布

需要注意的是，A/B组数据的收集是一个随机抽样的过程，所以它们的均值和方差也是随机变量，自然也有各自的分布，我们称这样的分布为抽样分布。

为了给出样本的均值的抽样分布形式，我们引出了概率论首席定理：中心极限定理。

大量相互独立的随机变量的均值的分布以正态分布为极限，也就是趋近正态分布，与随机变量的具体分布无关。

也就是说，无论现有的样本数据是什么样的分布，只要通过均值的方式对变量数据进行组合转换，最终得到的具体分布类型肯定是正态分布状态。所以我们在处理相关数据时，并不需要这个数据一定是正态分布的表现。

在样本内抽样数量$n$足够大的情况下， 样本均值$\bar{x}$的抽样分布如下：

其中，$\mu$是总体均值，$\sigma$是总体标准差。

中心极限定理给出了样本均值的抽样分布形式，但是我们注意到，样本均值的抽样分布涉及到总体的均值和方差，总体均值我们可以通过一些计算进行消除，但是总体方差是一个绕不开的指标，所以我们用到总体方差的无偏估计量：样本方差$s^2$

当总体是正态分布的情况下，我们可以推导出关于样本方差$s^2$的抽样分布：

其中，$x^2(n-1)$为自由度为$n-1$的卡方分布。

• $x^{}$