AB测试对于产品和运营优化的重要性有目共睹。为了能更快的得到试验结果,试验流量越大越好。但是当流量不够的时候怎么办呢?小流量AB测试能不能做?能!下面有多个节约流量的方法。
一、消除异常数据的影响
例如:当点击量作为指标时,有时会看到少量设备贡献了数万的点击。
这些设备可能是出了bug处于异常状态,也可能是在运行自动化测试,总之不会是正常的业务数据。如果将这些数据计入统计结果,将会对结果的准确性产生很大的影响。严重的情况只能重做试验,相当于本次试验流量全浪费掉了。
所以极端用户的数据不进行统计,实践中让点击量最大的1%用户数据不参与计算
二、正确统计进入试验的用户数
转化漏斗中的每个步骤都可以进行AB测试。
假设在转化漏斗的第3层的页面进行AB测试,在统计试验UV的时候,比较科学的方法是将进入到该页面的用户统计为试验UV,而不是所有访客。
如果没进入该页面的用户也统计为试验UV,则会稀释试验数据。下面举个例子看一下稀释的效果:
AB测试需要样本量的经验公式为
δ是希望检测到的最小变化,p为转化率,σ是样本的标准差。
下方计算所需样本