A/B test 总结

A/B test是一种通过制定两个方案，在同一时间段分别让**成分相同（相似）**的用户群随机使用一个方案，收集各群组的用户体验数据和业务数据，最后根据显著性检验分析评估出最好版本正式采用。

01 A/B test的目的

1、 判断哪个更好
2、计算收益，ROI

02 A/B test的一般流程

1. 与PM沟通，分析现状，确定改进点；
2. 确认观测指标，即是否成功的标准；
3. 设计优化版本的原型并完成开发；
4. 确定测试时长：时长不宜过短，会导致测试用户全为高频率用户；
5. 确定实验流量：分流要保证同时性和相似性；
6. 测试并收集实验数据，计算统计值，得出结果并产出报告：1.确定发布新版本；2.调整分流比例继续测试；3.回到步骤1。

03 流量分配

实验设计时我们希望满足：1、快速得出结论；2、对用户体验影响最小。
在流量分配时可以考虑以下几种情况：

1. 不影响用户体验：如 UI 实验、文案类实验等，一般可以均匀分配流量实验，可以快速得到实验结论
2. 不确定性较强的实验：如产品新功能上线，一般需小流量实验，尽量减小用户体验影响，在允许的时间内得到结论
3. 希望收益最大化的实验：如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估 ROI
   
   根据实验的预期结果，大盘用户量，确定实验所需最小流量，可以通过一个网站（这个网站还可以进行统计量的计算，很方便）专门计算所需样本量：

• 以次日留存率为例，目前大盘次日留存率 80%，预期实验能够提升 0.2pp
• （这里的留存率可以转换为点击率、渗透率等等，只要是比例值就可以，如果估不准，为了保证实验能够得到结果，此处可低估，不可高估，也就是 0.2pp 是预期能够提升地最小值）
• 网站计算&#x