【风控】ABtest的8个问题

本文源自知乎大佬：karry

AB Test 高频面试八大问-数据分析面试必刷题 (zhihu.com)

注：非原创哦，下面是看大佬视频总结的。

1.什么场景能够使用A/B实验？

1）产品迭代

界面优化、功能增加等

2）策略优化

验证策略是否达到预期目标

2.A/B实验的底层逻辑

1）随机化

使得全部的外在干扰因素失效

2）假设检验

a.提出假设：原始假设H0；备择假设H1

b.构建统计量：Z检验、T检验、F检验

c.验证假设是否成立（接受原假设/拒绝原假设）

3.AB实验在进行到中间时已经效果较为显著，可以停止实验吗？

(AB实验需要多大的样本？)

(AB实验要做多久？如何确定？)

α：弃真错误，一般取0.05

β：取伪错误，一般取0.2

Δ：指标预期变化量，μ1-μ2

σ2 ：指标的方差

计算样本量3个注意事项：

1）多个试验指标时，需要用样本量最大的指标所需样本量作为整个实验的样本量

2）计算结果是每个分组最低的样本量，两个分组加在一起的样本量是需要翻倍的

3）样本量可以是一段时间累积的样本量

实验时间 = 需要样本量/每天产生样本量

4.如何选择实验城市？

1)为什么

a.有些实验可能会有负影响

b.每个城市差异较大

2）如何选择

a.尽量选择大体量的城市

b.选择不同类型城市

5.如何确定分流时机？举例

何时进行随机化：

实验分流的触发点是且只能是策略的生效点

6.AB实验数据对比上涨25%，判定为效果显著，但上线后效果不好，为什么？

1）AB实验设计是否科学

a.样本量不足

b.实验时间太短

c.实验人群不等于上线人群

2）检查外部环境

7.统计上显著，但业务觉得没有上涨，怎么解决？

统计显著：统计学概念，数据差异随机产生的难度有多大；理性

业务显著：业务判定，要求新策略上线后必须有实际的意义；感性

8.什么场景下不可用AB实验？AB实验是万能的吗？

1）用户体验制约

2）样本数量限制

3）AB组间存在干扰