AB测试 简介

一、概念&来源

来源于生物医学的双盲测试

说白了就是用尽量相同的样本来测不同的方案，通过结果来判断出两种方案的好坏。

二、好处&优势

哪种方案更好？

好处：

1. 消除不同意见，提高团队效率
2. 通过对比试验，验证问题原因
3. 建立数据驱动文化：结果科学权威，避免过度依赖大牛，降低风险
4. 降低新产品风险，为创新保驾护航

三、适用场景及限制

不适用：

1. 不适合原始的创新解决方案
2. 不适合战略级的策略/决策验证
3. 用户量不大的业务场景

适用于小规模的创新，但不适用于原始的创新。

弊端

1. 设计、开发工作量增加
2. 代码维护成本增高
3. 用户要求规模大
4. 只见现象，不见原因

四、AB测试落地

五、注意事项

1. 不要盲目追求过大样本量 理论上来说，样本越多越科学合理；但实际上，流量太大，会造成不可预估的破坏性。

2. 检验样本有效性 再做一组AA测试来看 同样的样本量同样的环境，测试数据是否差别大。差别小，则样本量合适；差别大，说明不合适。

3. 多实验影响 原则上保证实验的纯粹性。纵向切分保证不同测试流量独享；横向切分保证不同应用在不同层次。