数据分析面考题经验分享 ：AB实验框架

AB测试作为互联网量化策略及ROI的黄金准则

无论是秋招还是社招，都是大厂必考 知识点

比如，常被问到：

▶ BI分析师在AB流程中担任怎样的角色？

▶ AB测试的优缺点是什么？

▶ 实验不显著怎么办？

只有了解AB测试的流程及实验原理

我们才能以不变应万变

因此！本篇 

着重介绍 AB实验框架，让你最短时间内系统了解基本点。

内含 轻案例 + 面试真题 

------正文手动分割线------

本文结构速览：

1. AB测试是啥

2. 为啥进行AB测试

3. AB实验设计步骤（含案例）

4. 实验效果评估方法

5. 经典面试题（含答案）

一、AB测试是什么

简单来说，AB测试就是通过将测试对象随机分成两组，然后控制其他变量一致的前提下，对其中一组进行某种行为或者功能的干预。继而计算AB效果的差异。

学术说法：AB测试是基于统计学原理, 通过合理流量分配, 高效、准确选取局部指标价值最大化方案的一系列方法论的总和。

二、为什么要进行AB测试

由于功能设计者个人思维的局限性以及全量用户的不可调研性, 导致了一个功能的预期效果可能与实际上线后的效果存在认知、实用上的差异。

一般来讲, AB测试通常有可以划分为两大目的：

• 判断方案的优劣: 究竟是A方案好些, 还是B方案好些。

• 计算方案带来的ROI: 最近上了一个帖子功能, 究竟给平台带来了多数DAU, 多数额外使用时长。

通俗一点来说，AB测试可以避免我们拍脑袋决策，科学量化优化方案的效果。

三、实验设计的步骤

话不多说，关于实验设计基本步骤，直接上图：

现状分析并建立假设：分析业务数据，确定当前最关键的改进点，作出优化改进的假设，提出优化建议;比如说我们发现用户的转化率不高，我们假设是因为推广的着陆页面带来的转化率太低，下面就要想办法来进行改进了

设定目标，制定方案：设置主要目标，用来衡量各优化版本的优劣;设置辅助目标，用来评估优化版本对其他方面的影响。

设计与开发：制作2个或多个优化版本的设计原型并完成技术实现。

分配流量：确定每个线上测试版本的分流比例，初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。

采集并分析数据：收集实验数据，进行有效性和效果判断：统计显著性达到95%或以上并且维持一段时间，实验可以结束;如果在95%以下，则可能需要延长测试时间;如果很长时间统计显著性不能达到95%甚至90%，则需要决定是否中止试验。

做出决策：根据试验结果确定发布新版本、调整分流比例继续测试或者在试验效果未达成的情况下继续优化迭代方案重新开发上线试验。

划重点：

作为数据分析师，我们真正参与的流程主要是现状分析以及采集并分析数据。

案例分析：

某电商平台想对新用户进行发券刺激，提高新用户的转化率及留存。并验证该发券行为的增量及ROI。下面结合AB设计步骤阐述每一步的具体工作内容。

Step1：我们需要先对平台新用户的现状进行分析，比如每日新客的用户量级、留存情况。并结合历史数据，评估不同面额对用户转化率的提升等。

Stpe2：确认好发券样式及触发条件（比如用户打开APP立即触发发券弹窗）。

Step3：UI及交互进行设计并开发上线。

Step4：确认好分流机制，比如hash分流（后续将展开说明一下分流的机制。）

Step5：积累实验数据，并分析实验效果。

Step6：评估实验效果，确认是否优化或者发布上线。

四、实验效果评估

假设检验在之前的文章中已经详细讲解了假设检验的原理，再次就不进行阐述。

最常用的假设检验方法有Z检验（正态分布检验）、T检验、卡方检验、F检验等。

因为AB测试是检验来自两个组样本平均数的差异性，从而判断它们各自代表的总体的差异是否著，因此使用的是两个总体均值之差的检验。

当两组的样本量n,m充分大时，根据中心极限定理，我们可以通过 Z检验 进行实验效果的评估。

五、经典面试题

面试题1：AB测试的优缺点是什么？

▼ 优点：

• 科学量化策略的效果，避免拍脑袋决定造成的损失。

• 对比不同的策略，找到核心问题，探索业务增长点。

• 数据驱动，形成优化闭环。

• 通过AB测试，为创新项目提供数据支持和保障。

▼ 缺点：

• 数据采集积累，降低了策略的迭代效率。

• 不同策略的维护和开发，增加了开发工作量。

面试题2：实验效果不显著怎么办？

实验效果不显著的原因可以分成两类：

• 第一类：线上策略不佳，无明显差异。

• 第二类：实验的灵敏度不够高。

针对第二类问题，我们可以通过以下方法进行优化

• 增加样本量：根据显著性检验的原理，只要实验组和对照组差值及样本方差不变的情况下，样本量足够大，我们总是可以得到显著性的结果。

• 减少样本均值的方差：减少样本均值方差的方法有减少离群值的影响，缩减方差（CUPED）的方法。

• 更换指标：更换一个方差更小的指标，比如某购物平台，实验指标一开始是用户购买的平均金额，我们可以更换为用户是否购买。对同一批样本，是否购买属于0-1分布，样本的均值方差自然比用户购买的平均金额小很多。

以上就是AB实验的框架系统介绍。

后续针对AB实验，结合实际问题开启系列文章：

比如效果分析基础步骤是啥？有哪些坑？

效果不显著该如何应对？

CUPED是什么？....

转自：数据有道DataHasWay 公众号；

END

---

版权声明：本号内容部分来自互联网，转载请注明原文链接和作者，如有侵权或出处有误请和我们联系。

---

合作请加QQ：365242293  

数据分析（ID : ecshujufenxi ）互联网科技与数据圈自己的微信，也是WeMedia自媒体联盟成员之一，WeMedia联盟覆盖5000万人群。