一.什么是ABTest测试
ABTest的目的和意图是判断哪种种UI或rerank策略更优,通过事实的依据( CTR或下单率/成交量.....)判断哪种策略更符合用户的习惯和需求,多用于产品发布时的最优策略。所谓(A/BTesting)测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用A方案,另一部分用户使用B 方案,记录下用户的使用情况,看哪个方案更符合设计目标。
二.AB测试的周期?
试验的周期一般是7天,覆盖周末和周中的用户行为。对于复杂一些的测试,可以跑2周甚至1个月。还有一个办法,就是看试验结果的置信区间的收敛速度,如果置信区间达到3%-5%已经可以决策了,就可以停止试验了。正常情况下,我们需要大流量试验来验证大型新功能,比如新推荐算法,新学习模型,新聊天功能。然后我们可以同时用流量分层的方法做很多很多小试验,比如改UI改文案,看看有什么改变能带来用户转化的提升。同时跑10个以上的试验很正常,这种并行决策实际上大幅度提高了产品优化效率,而不会延缓迭代。
三.总结
合理运用灰度发布和A/B测试,对于测试来讲,是必须要掌握的核心技能之一,我们每天都在研究、体验、设计产品,有时会想当然的觉得这个流程不复杂,这个操作很简单,用户应该上来就会用,不知不觉间就把我们思维强加给了用户。细节决定成败早已不是空谈,对于任何可能影响到用户体验的地方,都应该防患于未然。
上一篇:Android常见安全漏洞汇总
下一篇:测试面试常问的问题