设想我们的A/B测试需要检验更多的方案,例如J个方案。那么我们的实验流量就要划分成J个组。如果想对某两个组进行比较,那么使用t检验即可。方差分析想要回答一个更宏观的问题:不同组的均值是否存在显著差异?能不能用一个模型,搞定任意两组的比较?
频率学派的方差分析使用F检验,也就是组间方差与组内方差之比。如果比值足够大,则说明存在显著差异。
我们很难看出F检验和t检验的联系。
实际上,t检验、F检验、线性回归、逻辑回归这些统计学上的名词都可以统一到线性模型之下。方差分析比t检验多了分组,其实就是多了一个Nominal Predictor。
数据长这样:
CompanionNumber是