【基础知识】ABtest

ABTest类似于以前的对比实验，是让组成成分相同（相似）的群组在同一时间维度下去随机的使用一个方案（方案A、或者B、C…），收集各组用户体验数据和业务数据，最后分析出哪个方案最好。

目录

一、实现步骤

选取实验单位：

计算样本量：

流量分割：

实验周期计算

线上验证：

二、假设检验

1、假设检验的基本步骤：

2、各分布+拒绝域

2.1 对称性（t分布+正态z分布）

 2.2 非对称型（F分布、卡方分布）

三、注意事项

1、不适合用ABtest：（三种情况）

2、网络效应

3、学习效应（新奇效应）

4、多重检验问题

5、小tips

四、面试问题：

1、滴滴准备升级司机端的一个功能，该如何校验功能效果？

2、某app，用户活跃周期是14天，这时，上线了一个实验，计划跑20天在看效果，结果有位新同学，在10天时做了统计推断，发现数据已经有了显著差异，认为可以停止实验，这样做对吗？

3、如何处理多个实验并行？

4、多个活动交集量化的实验设计：

5、辛普森悖论：

---

---

ABtest 意义：

1、消除不同意见，提高团队效率

2、通过实验可以验证问题的原因

3、降低人为决策风险，用统计数字对运营提高科学支持

ABtest 目标：

1、希望尽快得到实验结论，尽快决策

2、希望收益最大化，用户体验影响最小

一、实现步骤

1.     现状分析：分析业务数据，确定当前最关键的改进点。
2.     假设建立：根据现状分析作出优化改进的假设，提出优化建议。
3.     设定目标：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标，用来评估优化版本对其他方面的影响。
4.     设计开发：制作若干个优化版本的设计原型。
5.     确定分流方案：使用各类ABTest平台分配流量。初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。注意分流时要尽可能做到没有区别。
6.     采集数据：通过各大平台自身的数据收集系统自动采集数据。
7.     分析ABTest结果：统计显著性达到95%或以上并且维持一段时间，实验可以结束；如果在95%以下，则可能需要延长测试时间；如果很长时间统计显著性不能达到95%甚至90%，则需要决定是否中止试验或重新设计方案。

选取实验单位：

1、用户粒度：以一个用户的唯一标识来作为实验样本。

好处是符合AB测试的分桶单位唯一性，不会造成一个实验单位处于两个分桶，造成的数据不置信。

2、设备粒度：以一个设备标识为实验单位。相比用户粒度，如果一个用户有两个手机，那么也可能出现一个用户在两个分桶中的情况，所以也会造成数据不置信的情况。

3、行为粒度：以一次行为为实验单位，也就是用户某一次使用该功能，是实验桶，下一次使用可能就被切换为基线桶。会造成大量的用户处于不同的分桶。强烈不推荐这种方式。

计算样本量：

中心极限定理：

只要样本量足够大，无论是什么指标，无论对应的指标分布是怎样的，样本的均值分布都会趋于正态分布。

大数定律

 

流量分割：

两种方式：分流和分层

尽量科学，使每组实验对象具备一致的用户特征

1、分流：指直接将整体用户切割为几块，用户只能在一个实验中。但是这种情况很不现实，因为如果我要同时上线多个实验，流量不够切怎么办？那为了达到最小样本量，就得延长实验周期。

2、分层：将同一批用户，不停的随机后，处于不同的桶。也就是说，一个用户会处于多个实验中，只要实验之间不相互影响，我们就能够无限次的切割用户。这样在保证了每个实验都能用全流量切割的同时，也保证了实验数据是置信的。

实验周期计算

 切分流量，知道了实验桶一天大概能有多少样本量（也可以算小时，如果产品的流量足够大）。我们直接用 最小样本量 /  实验桶天均流量 即可以得到相应的实验周期。

线上验证：

很多公司不会做，但建议做。验证两个方向：

1、验证实验策略是否真的触发。即我们上线的实验桶，是否在产品上实际落地了。比如你优化了一个产品功能，你可以去实际体验下，实验桶产品是否真的有优化。

2、验证同一个用户只能在同一个桶中，要是同时出现在两个桶中，后期数据也会不置信。这个上文有说过。

二、假设检验

A组和B组之间的差异，来源于2种情况：

• 分配对象的随机可能性
• A组与B组之间的真实差异

假设检验的基本思想：“小概率事件”原理

1、假设检验的基本步骤：

1. 原假设+备择假设：
2. 根据备择假设确定检验方向：单向检验+双向检验
3. 选定统计方法：Z检验、T检验，秩和检验和卡方检验……
4. 选定显著性水平α。无论接受或拒绝检验假设，都有判断错误的可能性。

如何选择统计方法？如何判断统计量服从什么分布？