abtest相关知识

步骤：

1.确认改动点（只能是单一因素）

2.设计核心指标（点击率/转化率，一般分为直接值和比率值）

3.计算实验所需最少样本流量（防止影响过大）

基于大数定律（次数多了，频率就等于概率）和中心极限定律（抽样的均值和方差服从整体），前提是样本量足够大， 这个足够大是多少，公式如下：

（组间指的是预期组和对照实验组），α为犯第一类错误的概率，B为犯第二类错误的概率，其中方差计算方式为：

如果是绝对值指标：

如果是比率指标：

4.结合日活量计算实验持续周期（注意初期数据可能不准确，需要适当延长。注意周期过长的事情不适合用abtest）

5.流量分层（作用是防止辛普森悖论，即分客群的表现都是a组好，但合计是b组好，这个原因是分配不均匀）（层与层之间要正交，即功能之间不能有影响，比如有些做推荐策略层，有些搞UI）

6.灰度实验（小流量，验证没有极端影响）

7、完整性检查：看理应不变的指标是不是真的不变，如果有问题可以把样本分成细分小组看问题出在哪个领域

8.检验（显著性检验）

即分析有多大概率是由于随机因素导致这样的差异。假设改动没有效果，即B的效果不会比A好，然后通过样本测试结果推翻这个假设，。由于样本量较大（大于30），故使用Z检验，样本量小则用T检验。Z值得计算公式如下：

当其为绝对值类指标

当其为比率类指标时

加入计算出来Z=1.22,小于95%置信水平对应理论Z值1.96，则上述样本不足以得出B比A好的结论，此时应该继续实验，当样本量增大时，Z会变大，成功！

如果差异并不显著，可以去找原因：也是分成细分小组去看，或者使用其它实验做交叉比对

面试考点：

1、第一类错误vs第二类错误：

前者是指一个改动本来不能带来收益，但我们认为它能带来收益，后者指好产品由于统计误差导致我们误认为不能带来收益，前者更不能接受

2.统计显著=实际显著？

可能是我们选用的样本量太大导致，实际案例中会不显著

3.AB测试统计上不显著，如何判断实验收益

byday去拆指标变化情况，如果一直高于原曲线，则能上线

4、实验组高于对照组就一定能上线吗？

不一定，比如想优化页面美观度，这可能是以内容展现等待时间为代价的，因此要对所有方面综合评估才可

5.AB测试是必须的吗？因为成本很高

如果是小改动，可以设置开关来让用户选

（其它方法包括：分析用户活动日志、用户体验研究、焦点小组和调查、人工评价）

6.隐含着的题：如果面试官问你如何衡量成效，都可以用