A/B testing
A/B testing的概念
A/B testing(A/B 测试)可以说是灰度测试的一种,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,看哪个方案更符合设计。
使用A/B 测试首先需要建立一个测试页面(variation page),这个页面可能在标题字体,背景颜色,措辞等方面与原有页面(control page)有所不同,然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率,即可清晰的了解到两种设计的优劣。
-
传统的A/B测试,是一种把各组变量随机分配到特定的单变量处理水平,把一个或多个测试组的表现与控制组相比较,进行测试的方式。
-
新的A / B测试,不仅仅其范围限制在web分析方面,而是为其注入新生命,即移动设备端分析,移动分析已成为A/B测试增长最快的一个领域。
A/B测试的应用举例
以一个电商App的场景为例。App集成了SDK之后,就可以在AB测试控制台创建很多“测试版本”,每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的测试版本。
假如这个App有100万在线用户,通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本,产生了10万购买;另外50万用户看到右边版本,产生了40万购买。这个试验数据说明右边版本产生的转化率更高,可以通过控制台将这个版本推广到所有100万用户。
其中最重要的就是产品优势,科技在A/B测试引擎的流量分割方面下了很多功夫,可以尽量保证试验用户流量的代表性和试验数据的准确性,同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。