深入解读AB测试(含统计学原理)

什么是ABtest

Abtest，又称分组隔离实验，是用于衡量网页设计、产品界面不同方案的效果的科学实验方法。
具体过程就是，为同一个产品目标制定两个方案(如一个界面按钮为蓝色，一个为红色)，然后分别为两个方案分配用户流量，同时上线，根据用户的的使用行为效果衡量哪一个方案对于产品目标是有利的，之后就可以将这个方案投入使用。

原则

• 方案设计：影响用户行为的因素很多，在不同的方案设计中尽可能一次只有一个实验变量。
• 流量分配：具有代表性，相似性。实验的最终目标是将好的产品方案分配给所有的用户，因此抽样得到的用户群体要能够代表整个用户总体。
  可以采用的抽样的方法是：使用聚类方法根据用户属性和行为特征对目标用户群体进行分类，然后采用分层抽样的方法保证两批用户的组成相似，尽可能满足相似性，同时也能代表总体用户特征
• 评价标准：由实验目标决定，例如方案设计的目标是想要提升转化率，那就以两个方案的转化率作为评价标准。
• 样本量确定：样本量越大越接近于真实场景，然后同时也导致了更多资源的投入。因此合理选择样本量对于接下来的实验是很重要的
  

效果分析

在执行完ABtest之后，接下来就需要对两个方案的效果进行评估，判断哪个方案更能满足实验目标

例如，两个方案的实验结果分别是 方案一：转化率为40%࿰