【数据分析】A/B测试

一、AB测试的基本概念

1.什么是AB测试

  AB测试来源于生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下使用安慰剂和测试用药，经过一段时间的试验后来比较两组病人的表现是否具有明显的差异而决定测试用药是否有效。

  在互联网场景中，将Web或者App界面或流程的两个或多个版本，在同一时间维度，分别让组成成分相同的访客群组访问，收集各组的用户体验数据和业务数据，最后分析评估出最好的版本采用。

2.AB测试的好处与限制

好处

  消除设计纷争，确定最佳方案；对比实验找出问题原因；建立数据驱动，持续不断优化闭环过程；通过A/B测试，降低产品发布风险，为产品创新提供保障。

限制

  在App和Web开发阶段，程序中添加用于制作A/B版本和采集数据的代码由此引起的开发和QA的工作量很大，ROI（投资回报率）很低；AB测试的场景受到限制，App和Web发布后，无法再增加和更改AB测试场景；额外的A/B测试代码，增加了App和Web的维护成本。

二、AB测试步骤

  AB测试是一个反复迭代优化的过程，它的基本步骤如下图所示可以划分为

  现状分析并建立假设：分析业务数据，确定当前最关键的改进点，作出优化改进的假设，提出优化建议；

  设定目标，制定方案：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标，用来评估优化版本对其他方面的影响。

  设计与开发：制作2个或多个优化版本的设计原型并完成技术实现：

  分配流量：确定每个线上测试版本的分流比例，初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。

  采集并分析数据：收集实验数据，进行有效性和效果判断：统计显著性达到95%或以上并且维持一段时间，实验可以结束；如果在95%以下，则可能需要延长