A/B testing

A/B testing的概念

A/B testing（A/B 测试）可以说是灰度测试的一种，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计。

使用A/B 测试首先需要建立一个测试页面（variation page），这个页面可能在标题字体，背景颜色，措辞等方面与原有页面（control page）有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率，即可清晰的了解到两种设计的优劣。

• 传统的A/B测试，是一种把各组变量随机分配到特定的单变量处理水平，把一个或多个测试组的表现与控制组相比较，进行测试的方式。

• 新的A / B测试，不仅仅其范围限制在web分析方面，而是为其注入新生命，即移动设备端分析，移动分析已成为A/B测试增长最快的一个领域。

A/B测试的应用举例

以一个电商App的场景为例。App集成了SDK之后，就可以在AB测试控制台创建很多“测试版本”，每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告，并选择发布效果更好的测试版本。

假如这个App有100万在线用户，通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本，产生了10万购买；另外50万用户看到右边版本，产生了40万购买。这个试验数据说明右边版本产生的转化率更高，可以通过控制台将这个版本推广到所有100万用户。

其中最重要的就是产品优势，科技在A/B测试引擎的流量分割方面下了很多功夫，可以尽量保证试验用户流量的代表性和试验数据的准确性，同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。