B站：AB Test 知识全解

AB Test的实质：假设检验，主要有以下几个步骤：

1、在实验开始前，找产品、项目经理等确认：实验需要验证的改动点（一次只能看一个！！！）

2、数据分析师设计需要去观测的核心指标，指标分为2类：

①绝对类指标（用得比较少 ，如：DAU平均停留时长）

②比率类指标（通过多个指标计算得到，如：点击率、转化率、复购率）

3、计算实验所需的最小样本量（trade off：n越大，实验结果越可信；但n过大，会对用户造成不良影响），每一个实验组所需的样本量：[用到了“大数定律”和“中心极限定律”]

α：犯第一类错误的概率，而1-α（没有犯第一类错误的概率）是置信水平。通常取0.05。

β：犯第二类错误的概率，而1-β是统计功效。通常取0.2。

样本标准差计算方式有所不同：

①当观测指标为绝对类指标：