AB测试 vs 灰度测试

几个方案，大家各有各的理由，设计的主观和感性会导致我们陷入迷茫，说不清到底选哪个方案，这时我们就可以做一个AB测试，用客观数据来帮助我们做选择~

这篇笔记就分享一下AB测试和灰度测试，面试中没准会被问到哦~

什么是AB测试？

将用户分成几组，分别看到不同的方案设计，根据数据反馈选取最佳方案。

AB测试的常用场景

1、页面布局

有的时候我们说不清楚到底哪个布局更好，就可以通过数据来测试。

2、文案测试

当几个文案不知道用哪个更好的时候，也可以通过AB测试的方式来确定。

3、颜色选择

当颜色不同时，也会影响用户的情绪和行为。比较出名的就是Google早期曾经测试过41种蓝色，最终筛选出了指标表现最好的蓝色，据说，选用的这种蓝色要比其他蓝色每年多为Google带来两亿美元的收入。

AB测试的步骤

1、圈选人群

首先先选定参加测试的用户，可以是总用户数的20%，尽可能随机，保证样本的无偏差。
在参加测试的用户中，再进行分组，分为实验组和对照组。
对照组就是原来旧版本的用户人群，实验组就是可以看到新的测试方案的人群。

用户圈选数量

圈选数量决定了测试结果置信性，这个数量的评判标准是：当测试满多少用户之后，测试结果不会再随着人群的增多而产生变化。

圈选数量决定观察👀周期

当用户基数较大时：
初期先观察一周，一周后选择正向方案扩量测试，如果随着扩充量级的增大，始终呈现正向表现，那后期观察周期可以缩短为3天。

当用户基数较小时：
尽可能保证数量以保证置信性，但如果实在没法保证量级，可以延长观察周期到2周，以此来确保置信性。

参考值：一个组人数至少1000人。

2、AA测试

为了确保样本的均匀分布，排除由于样本自身差异带来的影响，可先进行A/A测试。就是给几组用户相同的方案，对比是否存在显著差异，如存在差异，那就说明分流存在问题。

AA测试的意义就是增加AB测试实验结论的可信度。

3、测试过程

如果测试过程呈现负向结果，该怎么办？

延长观测时间，如果仍然呈现负反馈，就要及时关闭实验。如果得到负向结果也没必要难受，至少告诉我们哪些不应该做。

4、结论分析

仅看某个最终指标难以推断方案的成败，需要拆解看各个步骤的数据，得出新的假设，进一步验证想法。

增长实验中的AB测试：
AB测试在增长实验中是非常常用的方法，99%的实验都是失败的，只有1%的成功，而且同一个方案在产品不同时期去实施可能都会带来不同的效果。

灰度测试

灰度测试是产品上线前，先小规模放量，观察用户反馈没有问题后，再逐步放大量级上线。它的核心目的是监控上线版本的稳定性。

AB测试和灰度测试的区别

AB测试是对不同的方案进行对比，然后选出最佳方案。
灰度测试是测试上线版本的稳定性，减少风险。


当我们遇到多个设计方案说不清楚到底哪个好用哪个的时候，就可以做AB测试看一下！