A/B测试

AB测试是什么，怎么做AB测试

将Web或App界面或流程的两个或多个版本，在同一时间维度，分别让两个或多个属性或组成成分相同（相似）的访客群组访问，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

时间的统一性有效的规避了因为时间、季节等因素带来的影响;

属性的相似性则使得地域、性别、年龄等等其他因素对效果统计的影响降至最低。

 

为了规避这种因为样本量不足造成的试验结果不可用，在AB测试设计时可以采用如下措施：

1.试验设计时预估进入试验的样本量，做分流规划时避免分配给测试集的样本量过少。

2.除了进行AB测试外增加关于数据有效性考量的AA测试，将原始版本的流量中分出两个和测试版本相同的流量也进入测试。

3.如果参与测试新版本已经分配了很大的流量比例，但是仍然存在样本量不足的情况，这时就只能通过拉长试验时间的方式来累积足够的样本量进行比较了

 

通常AB测试延续的时间不宜太长，因为AB测试是对线上的多个版本的测试，这也就意味着线上系统需要同时维护多个可用的版本，长时间的AB测试无疑加大了系统的复杂性。

但是，另一方面如果试验进行的时间太短可能会造成试验样本量不足的问题。

同时，如果进行的是UI改版一类影响用户体验的测试，新版本上线后用户通常需要有一个适应的过程，这时我们通常会在试验开始时给用户一个适应期让用户适应新的UI版本，然后再考察试验的结果。适应期的长短通常以足量用户流量参与试验后的2到3天为宜。适应期过后的试验时间长短除了需要考察样本量的情况外，还需要参考用户的行为周期，譬如说电商用户的购买行为有较强的周次规律，周末流量和购买量与工作日会有显著差异，这时测试的周期应该能够覆盖一个完整的周期，也就是应该大于1周。

 

前后端实验同时做：流量分层

 

关于AB测试实验效果的分析通常分为两个步骤：实验有效性的判断、实验结果的比较。

实验有效性的判断：判断实验的分流是否已经到达所需要的最小样本量，从而能够以较大的概率拒绝两类统计错误的发生。最小样本量的判断可以采用假设实验目标指标符合正态分布下，两类错误发生概率的分位数的方式进行估算。或者更一般的可以采用AA测试，对两个老版本的实验结果计算P值，从而判断其是否存在显著差异。如果AA实验的结果不存在显著差异，那么可以认为实验结果是有效的，进而可以对新老版本的实验结果进行进一步的判断。

实验结果的判断：通常通过比较新实验版本和老版本是否存在显著差异（前述的P值判断），以及计算实验结果指标的置信区间（通常选用指标的95%置信区间），从而判断新版本是否相对老版本存在显著提升或下降。