参考文章:数据分析系列 32/32 | 数据分析师必知的AB测试知识
1. AB、AA测试背景
1、AA测试
A/A测试可以理解成对两个相同版本进行的A/B测试。通常,这样做的目的是为了验证正在使用的工具运行试验在统计上是公平的。在A/A测试中,如果测试正确进行,控制组和实验组理论上应该没有任何区别。如果样本的A/A测试结果达到统计显著,那么A/B测试工具或测试方案就是不可信的。如果说A/B测试用来测试比较几个方案的优劣,那么A/A测试就是验证A/B测试及工具置信度的有效方式。 A/A测试的目的有下面几个:a.保证精确的流量分配,换句话说,验证随机性实际上是通过确保每次试验产生的计数与统计范围相似b.识别假阳性结果的频率(假阳性结果也可以理解为测试结果中的虚假繁荣,有相当的误导性)c.确定方差“泡沫”帮我们更好的理解其他测试结果2、AB测试
AB测试的概念来源于生物医学的双盲测试,双盲测试中病人被随机分成两组,在不知情的情况下分别给予安慰剂和