A/B测试学习心得

A/B测试属于常见的分析方法，个人认为其核心思想就是控制变量法，在保持其他因素一致的情况下，对测试因素进行分组验证。如果以控制变量法的思维来考虑 A/B测试， 其应用范围非常广泛，下文讲述的A/B测试主要是在互联网产品更迭的应用。

1、A/B测试的应用场景

（1）产品功能优化

A/B测试用于产品功能优化，主要有以下四种表现形式：功能测试、路径测试、文案测试、设计测试。功能测试是测试新功能的上线或老功能的下线或更新；路径测试是比较不同的步骤和路径对用户的影响。这里的步骤和路径不仅包括跳转的顺序，也包括单个页面上各模块顺序的调整；文案测试就是测试文案的不同是否会对用户有影响；设计测试就是不同的视觉方案是否会对用户产生影响。这四种形式对应了业务产生的底层逻辑，显然功能测试是优先级最高的，文案测试与设计测试优先级最低，功能决定了是否满足客户需求，是业务产生的基础，其次是功能之间的结构，路径是会促进还是阻碍用户转化，而最后需要考虑的才是文案和设计效果。

（2）策略算法优化

策略算法优化分为两部分，一部分指运营策略的测试，运营策略的设置、运营方案实施的时间频率力度等等都是可以通过A/B测试来确定一个最优方案。另一部分是算法变动的测试，这里的算法更多是推荐算法，算法的变动对用户的影响属于黑匣子，更难有一个明确的指标进行衡量，所以算法在真正落地之前要进行A/B测试来验证算法的效果如何。

2、A/B测试的流程

（1）方案设计阶段

在决定要进行 A/B测试时，我们首先就是要设计 A/B测试方案如何实行，以及对方案效果的评判指标。一方面，方案的设计主要是为了保证实验组与验证组保持只有一个变量，同时实验组与验证组相互独立，不能交叉。而更复杂的A/B测试，在同时进行多个A/B测试的时候，需要保持不同测试面向的用户保持独立。

另一方面，指标的选取要全面，不仅要考虑测试内容直接相关的局部指标，也要考虑对全局指标的影响。要注意出现局部最优，但是全局却更差的情况，比如一次A/B测试中，为了测试购买会员按钮形状更改产生的效果，版本A使购买会员按钮的点击率上升了，但是最终付款量却下降了，而版本B使购买会员按钮的点击率下降，但是最终付款量却提高了，显然还是要选择最后付款提高的。

（2）功能开发阶段

功能开发阶段的主要任务是确保数据埋点能够满足评估指标的需求，产生的数据要能够反映出业务的变化情况，如果不能则需要考虑新增埋点或修改埋点。

（3）功能上线阶段

A/B 测试通常需要一段观察周期。观察周期的长短与产品形态有关，越高频的 App需要的时间相对越短，但同时也要注意要真正体现出测试效果也是需要时间的。另一方面，在评估指标时需要注意要排除测试落地前的影响，排除自身属性对

（4）功能决策阶段

通过上一步，我们可以得到实验组各项指标收益与对照组的对比情况。这就需要针对实验方案作出决策。如果实验组的关键指标显著负向，可能需要继续优化功能后再上线；如果观察到的关键指标变化不大，但是功能本身的改动很大，可以建议扩大流量观察；如果实验组指标有正向收益，也可以建议直接推全。

3、A/B测试的注意点

（1）相同的时间

相同的时间是为了尽量保持测试的其他变量一致，由于测试是面向用户的，除了自己的产品，其他事项都是难以掌控的，想要尽可能保证测试的准确性，需要测试的大环境一致，也就是要在相同的时间进行测试。

（2）相同的用户群体

在统计学里有一个非常具有特点的例子，就是甲方的子类表现都优于乙方，但整体表现劣于乙方。假设甲乙为一次考试的两个班级，其中甲班有10个女生通过九个及格率90%，90个男生通过45个及格率50%，总及格率为54%，乙班有50个女生通过40及格率80%，男生50个通过20及格率40%，总及格率60%。显然，单论男女生及格率甲班要强于乙班，但是总及格率甲班比乙班差，这样的表现往往是由于子类的比例相差较大造成的。所以在A/B测试里就要注意投放群体的属性与比例，要保持一致。

（3）灰度发布

所谓的灰度发布，简单来说就是试点运营，对部分样本进行验证。对于用户体量较大的场景来说，全部进行版本的更替具有较大风险，所以就有灰度发布，选取其中5%或者10%的部分进行A/B测试，如果发现版本A测试效果较好，则逐步推进更多用户进行版本A的更新，直至百分百的用户都使用版本A。

（4）显著性验证

所有的项目在完成时，都需要进行一个验证，用来说明你结论是否靠谱。常见的是在样本中设置实验组与验证组，或者进行回测。同样的在A/B测试里，也需要对结论进行假设检验，是否满足显著性验证。

4、A/B测试的案例

A/B测试的适用性极强，不管是功能的更迭，运营策略优惠券的发放，或者是app上一个图标的变化，不同板块位置的变化，乃至颜色的变化都能够通过A/B测试找到更合适的方案。

相比互联网对A/B测试的应用，我觉得其他行业对A/B测试的应用也是相当普遍，利用 A/B 测试对业务流程进行优化，对改进方案进行试点测试，以确保改进措施的确实可行。以物流公司的经历，对于区域内已经稳固的物流体系来说，要保证稳定性的同时改变固有的物流业务流程是较为困难的，这时候就能够用到A/B测试的思想，通过灰度发布，试点运行，在验证了可行性之后再逐步进行推进，最后实现了业务流程的优化。

不管是什么数据分析的方法，核心都是要保证数据的可靠性，对于A/B测试来讲，同样如此。