相信大家都或多或少听说过A/B测试,即便没有听过其实也被动的参与过——作为受试者。在网站和APP的设计、产品的运营中,经常会面临多个设计/运营方案的选择。小到按钮的位置、文案的内容、主题的颜色,再到注册表单的设计、不同的运营方案,都有不同的选择。A/B test可以帮助我们做出选择,消除客户体验(UX)设计中不同意见的争执。
一、A/B test背景
AB实验的概念来自生物医学的双盲测试,双盲测试中病人被随机分成两组,在不知情的情况下分别给予安慰剂和测试用药,经过一段时间的实验后,比较这两组病人的表现是否具有显著的差异,从而确定测试用药是否有效。2000年,Google工程师将这一方法应用在互联网产品测试中,此后AB实验变得越来越重要,逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。
从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司,到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司,在各种终端(网站、PC应用程序、移动应用程序、电子邮件等)上运行着大量的AB实验。
这些公司每年进行数千到数万次