AB-test理解与实战

AB-test

1、定义：为同一个目标制定两个方案，在同一时间维度，分别让组成成分相同（相似）的用户群组随机的使用一个方案，收集各群组的用户体验数据和业务数据，最后根据显著性检验分析评估出较好的方案。

2、补充概念：

1. 显著性检验（significance test）：事先对总体随机变量的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异。
   （注：显著性检验是针对我们对总体所做的假设检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。）
2. 备择假设：统计学的基本概念之一。其包含关于总体分布的一切使原假设不成立的命题。备择假设亦称对立假设、备选假设。
3. 假设检验：用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法，常用的假设检验方法有Z检验、t检验、卡方检验、F检验等。
4. Z检验（Z-Test）又叫U检验。由于实际问题中大多数随机变量服从或近似服从正态分布，U作为检验统计量与X的均值是等价的，且计算U的分位数或查相应的分布表比较方便。通过比较由样本观测值得到的U的观测值，可以判断数学期望的显著性，我们把这种利用服从标准正态分布统计量的检验方法成为U检验（U-test）
5. 方差分析方差分析（analysis of variance，ANOVA），即变量分析，是对多个样本平均数差异显著性检验的方法。方差分析又称为F检验。分差分析的总体思想就是数据中的总变异，按变异原因划分。
6. 方差分析方差分析（analysis of variance，ANOVA），即变量分析，是对多个样本平均数差异显著性检验的方法。方差分析又称为F检验。分差分析的总体思想就是数据中的总变异，按变异原因划分。
7. 变异的基本来源有两个：
   1. 实验变量：样本的观测因素引起的变异，也称为组间差异；
   2. 随机误差：由于测量误差导致的每个个体间的差异，也称为组内差异
      (总偏差平方和=组间偏差平方和+组内偏差平方和 SST=SSR+SSE)

3、公式：

1. AB-test
   设A方案为参考方案（或旧方案），B方案为实验方案（或新方案）。由于每次实验结果要么转化成功，要么失败，所以A，B的分布可看作是伯努利分布；
   $$A\sim B(N,{\lambda }_a);B\sim B(N,{\lambda }_b)$$我们知道，二项分布当n趋近于$\infty$ ,可以近似的看作服从正态分布；其均值方差为：
   $$u=np,{\sigma }^2=np(1-p)$$假设，A方案的人数为$N_a$ ,B方案的人数为$N_b$ $(N_a=N_b=N)$；

2. 假设检验：
   H1是我们想要的假设，H0是要拒绝的假设：
   $$H_0:{\lambda }_b-{\lambda }_a\le 0$$