流量过小如何做A/B测试

本文探讨了在流量有限的情况下如何有效地进行A/B测试,包括消除异常数据影响,正确统计试验用户数,关注点击转化率,充分利用原始版本流量,实施分层试验以及同层试验共用原始版本数据等方法,旨在最大化试验效果并节约流量资源。
摘要由CSDN通过智能技术生成

AB测试对于产品和运营优化的重要性有目共睹。为了能更快的得到试验结果,试验流量越大越好。但是当流量不够的时候怎么办呢?小流量AB测试能不能做?能!下面有多个节约流量的方法。

一、消除异常数据的影响

例如:当点击量作为指标时,有时会看到少量设备贡献了数万的点击。

这些设备可能是出了bug处于异常状态,也可能是在运行自动化测试,总之不会是正常的业务数据。如果将这些数据计入统计结果,将会对结果的准确性产生很大的影响。严重的情况只能重做试验,相当于本次试验流量全浪费掉了。

所以极端用户的数据不进行统计,实践中让点击量最大的1%用户数据不参与计算

二、正确统计进入试验的用户数

转化漏斗中的每个步骤都可以进行AB测试。

假设在转化漏斗的第3层的页面进行AB测试,在统计试验UV的时候,比较科学的方法是将进入到该页面的用户统计为试验UV,而不是所有访客。

如果没进入该页面的用户也统计为试验UV,则会稀释试验数据。下面举个例子看一下稀释的效果:
AB测试需要样本量的经验公式为

在这里插入图片描述
在这里插入图片描述
δ是希望检测到的最小变化,p为转化率,σ是样本的标准差。

下方计算所需样本

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值