A/B测试原理

什么是A/B测试

A/B测试，其核心是“确定两个元素或版本（A和B）哪个版本更好，需要同时实验两个版本，最后，选择最好的版本使用。网络上的A/B测试，比如设计的页面有两个版本（A和B)，A为现行的设计，B是新的设计，比较这两个版本之间测试者所关心的数据（转化率、业绩、跳出率等)，最后选择效果最好的版本。[1]

　　A/B测试的出现，便是将用户行为分析与网页设计、内容编辑等生产环节直接对应，以测试数据直接指导生产环节。

A/B测试的基本原理

A/B测试的具体实施方式有很多种，网站、桌面应用、手机应用等对应不同的实施方式，但均是将选定的用户分为两组，一组使用旧版本，一组使用新版本，对试验中收集到的效果指标数据，应用统计学上的方法进行验证，选择效果最好的版本正式上线推广。

　　A/B测试的实质，是对照实验法在线上的实施，是与控制组、实验组的自然科学实验一脉相承的，其原理应用的是统计学上的一种假设检验（显著性检验)。在这一过程中，“假设检验是先对总体的参数提出某种假设（比如说转化率的平均值)，然后利用样本数据判断假设是否成立的过程。逻辑上采用反证法，先提出假设，再计算该假设可能性的大小……由于统计得出的结果来自于随机样本的数据，结论不可能为绝对的，所以只能根据概率上的一些依据进行相关的判断。依据小概率思想（即显著性水平p<0.05的小概率事件在一次试验中基本上不会发生)，也就是说当原假设的可能性小于认定的某一标准的话，则拒绝原假设（认为这个假设是不成立的)，反之则接受原假设。”

　　具体到A/B测试里的假设检验，试验的目的就在于推翻“A/B两个版本无差异”的原假设，验证“A/B两个版本有差异”的备择假设。最终，通过比较A/B两个版本样本数据的相关参数，来决定最终投放使用的版本采用哪一个。

　　进行A/B测试时，测试用户的选取是十分关键的环节，为保证试验结果的准确性，一是要保证一定的样本数量，二是要考虑用户细分。“在A/B测试的实验中，需要保证小流量的实验具备代表性，也就是说1%的流量做出来的实验结果，可以推广到100%的用户，为了保证这一点，需要保证1%的流量的样本特征与100%流量的样本特征具备相似性。”具体来讲，要将在某一特征上具有相似性的用户聚为一类，再将其随机分为控制组与实验组，如果“所有用户杂糅在一起，导致即使我们做了A/B测试，也得不出有效结果。所以，我们需要按用户群体细分去做A/B测试，高质量用户、留存用户、低质量用户、不活跃用户，它们的行为是怎么样的，这才是有效A/B测试的关键。”

　　具体的用户细分，要根据不同的测试目的来区分﹐但通常比较关键的用户特征有这几种区分，新、老用户的区分，用户流量来源（自然流量、付费流量、推荐流量、Email流量、社交媒体流量）的区分，主页访问、内部访问的区分，首次购买、反复购买的区分等等。不同细分用户的行为分别是怎样的，是进行有效A/B测试的关键

A/B测试的操作过程

总体来说，A/B测试试验的创建主要包含下面5个步骤：

　　第一步，收集数据，从数据中发现存在的问题和机会。

　　第二步，基于要解决的问题设立试验目标，如提升注册转化率或者新用户留存率。

　　第三步，找到目标后，设计解决方案，提升试验的假设，如“将注册按钮的文案从立即注册改为获取演示可以带来更多的注册转化数量”。

　　第四步，进行A/B测试试验部署和上线。

　　第五步，实验开启后定期观察数据，通过显著性的统计结果来判断试验结果，从而做出科学有效的决策。