B站：AB Test 知识全解

AB Test的实质：假设检验，主要有以下几个步骤：

1、在实验开始前，找产品、项目经理等确认：实验需要验证的改动点（一次只能看一个！！！）

2、数据分析师设计需要去观测的核心指标，指标分为2类：

①绝对类指标（用得比较少 ，如：DAU平均停留时长）

②比率类指标（通过多个指标计算得到，如：点击率、转化率、复购率）

3、计算实验所需的最小样本量（trade off：n越大，实验结果越可信；但n过大，会对用户造成不良影响），每一个实验组所需的样本量：[用到了“大数定律”和“中心极限定律”]

α：犯第一类错误的概率，而1-α（没有犯第一类错误的概率）是置信水平。通常取0.05。

β：犯第二类错误的概率，而1-β是统计功效。通常取0.2。

样本标准差计算方式有所不同：

①当观测指标为绝对类指标：

②当观测指标为比率类指标：

e.g. 我们希望点击率从20%提升至25%，那么PA=20%,PB=25%,5%(作差)

PS： 网络上有直接的工具可以计算！

4、结合日活量，计算实验周期

5、设计流量分割策略：对样本流量进行分流分层。（保证随机分布：避免出现辛普森悖论）

目标：正交分层，互不影响的流量分层。

①组1和组2是互斥的

②B1、B2和B3之间也相互互斥

∴对于实际业务场景，很多topic之间是没有关联的，那么便可以共用流量：

6、准备就绪后，和PM和开发同学确认开始实验。

在正式开始前，会用“小流量”去看一段时间“灰度实验”（验证改动不会造成特别“极端的影响”）

欲知后事如何，下一篇见！