目录
一、AB实验介绍
1.1 什么是AB实验
AB实验(也被称为AB测试、AB分桶、ABTest等)是为APP等产品的界面、流程、功能、算法等制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同或相似的用户随机访问这些版本,收集各组用户的行为数据,最后分析评估出最好版本,正式采用。
AB实验最核心的思想是:
多个方案并行测试; 每个方案只有一个变量不同; 以某种规则优胜劣汰。
1.2 为什么进行AB实验
通过实验的方式优化产品,提升核心指标,进而撬动留存、扩大用户群体、增加收入等。
进行AB实验的好处:
- 量化效果,科学对比,根据实际效果确定最佳方案。
- 降低新产品或新功能的发布风险,效果不理想可在少量用户中持续迭代,直至可全量发布或创新失败。
1.3 如何进行AB实验
a) 保证足够的样本量
采用足够的样本量以保障用户行为具有代表性。
根据大数定律,如果统计数据足够大,那么事物出现的频率就能无限接近他的期望。
b) 选择无偏差的样本
在要观测的指标上,用户应均匀分布,选择无偏差的样本以保障实验用户特征符合全量用户特征分布。
根据中心极限定理,样本平均值约等于总体平均值,任意一个总体的样本平均值都会围绕在总体平均值周围,并呈正态分布。
c) 遵循互斥正交原则合理分域分层分桶
互斥:两个或多个实验内容相互影响时,根据互斥性将流量拆分为不重叠的分组进行实验。
正交:两个或多个实验内容不会相互影响时,根据正交性挑选均匀分散的流量进行实验。每个实验都会将用户重新随机打散。
分域分层分桶:
- 域1+域2=100%流量,互斥关系
- B1层=B2层=B3层=域2流量,正交关系
- (B2-1)+(B2-2)+(B2-3)=B2层流量,互斥关系
二、AB实验架构
AB实验架构分为流量分配管理、埋点设计开发、数据收集处理、实验效果评估4个部分。
2.1 流量分配管理
流量分配环节将分域分层分桶逻辑代码落地,一般由算法或架构团队开发分流算法并产品化为实验管理后台。
分流算法常采用hash或hash的变种,对(实验id+设备id)对进行打包分桶。加入实验id目的是确保不同实验正交化。
实验管理后台实现实验创建、平台选择、人群圈选(新老,特定属性圈层,城市,版本,从属策略等)、流量划分、白名单等功能。
2.2 埋点设计开发
埋点环节通常由数据产品或数据分析设计,前端同学开发上报(有时涉及后端开发),测试同学验证,数据同学灰度验收。