AB test 中的AA test有什么作用？

什么是A / A测试？

A / A测试是A / B测试的衍生产品。但是不同的是，我们不是比较两个不同的版本，而是比较两个相同的版本。

A / A测试的主要目的很简单：验证A / B测试解决方案是否已正确配置且有效。

我们在三种情况下使用A / A测试：

• 检查A / B测试工具是否正确
• 设置转换率作为以后测试的参考
• 决定A / B测试的最佳样本量

作用一：检查A / B测试工具的准确性

在执行A / A测试时，我们会比较同一页面的两个完全相同的版本。

当然，A / A测试的目的是区分实验在转换结果方面显示和实验前的值很相近的问题，这里的想法是证明测试解决方案是有效的。

从逻辑上讲，当我们设置新的A / B测试解决方案或从一种解决方案转到另一种解决方案时，我们将组织A / A测试。

但是，有时会在两个相同的版本上声明一个“优胜者”。

这就是A / A测试的好处，检测A/B的准确性，A/B的不准确性可能有：

• 测试可能未正确进行
• 该工具可能未正确配置
• A / B测试解决方案可能无效

作用二：设定参考转换率

假设要在首页上设置一系列A / B测试。设置了解决方案，但出现了一个问题：不知道将不同版本比较，应该达到哪个转换率才是合理的。

在这种情况下，A / A测试将帮助您找到将来的A / B测试的“参考”转换率。

例如， 在主页上开始A / A测试，目标是填写联系表格。比较结果时，得到的结果几乎相同（这是正常的）：5.01％和5.05％的转换。

现在，可以先确定使用该数据，它代表当前数据的转换率波动，然后激活A / B测试以尝试超过该转换率（超过AA验证的转换率）。

如果A / B测试的结果是“更好”的变体只实现了5.05％的转化（上述AA的转化率结果），这实际上意味着并我们的A/B测试没有进展。

作用三：寻找样本量以备将来测试

关于AAtest的分桶方法：
https://blog.csdn.net/weixin_41744624/article/details/109676999

比较两个类似版本的问题包含“运气”因素。

由于测试是在统计基础上制定的，因此存在一定的误差范围，可能会影响A / B测试活动的结果。

如何减少这种误差幅度：必须增加样本量，以减少随机因素（所谓的“运气”）使结果偏斜的风险。

通过执行A / A测试，可以“查看”测试解决方案在相同版本之间最接近“完美平等”的样本大小。

简而言之，通过A / A测试，可以找到使“运气”因子最小化的样本数量；然后，可以将该样本量用于以后的A / B测试。也就是说，A / B测试通常想需要较小的样本量。

A / A测试：浪费时间吗？

这个问题在A / B测试领域引起了激烈的争论：在进行A / B测试之前，我们是否应该花时间进行A / A测试？

实际上，执行A / A测试要花费时间，比A / B测试要花费更多的时间，因为证明这两个“相同变体”导致相同转换率所需的流量很大。

问题在于A / A测试非常耗时，并且会占用可用于进行“真实测试”的流量。

如果运行的网站正在启动或流量很少，那么浪费的时间进行A / A测试是没有用的：将重点放在优化购买渠道或客户生命周期价值上：结果将是更令人信服，甚至更能落地。