Sample Size Calculator (Evan’s Awesome A/B Tools) reference
是犯二类错误得概率(取伪的概率)。在课本中一般只考虑一类错误弃假的概率
。但是在实际的AB test 应用中我们同时还要将
限定在一个较低的水平。
上述链接只需要输入4个参数就可以计算出实验所需的样本量。
假设你要更改了门户网站的一个start 按钮,统计更改按钮后的cilck rate 跟未更改的变化。
Baseline conversion rate (基准比例)
在实验开始之前,对照组本身的表现情况。也就是说在你没有更改上述门户网站的按钮的时候统计出来的cilck rate。在此假定Baseline conversion rate= 15%。
Minimum Detectable Effect(最小检验效果)
衡量对实验判断精度的最低要求,如果我们希望转换率指标提高5%,且低于5%的差异对产品影响不大,则可将 Minimum Detectable Effect 设为5%。根据行业从业者的经验,网站的点劲旅变化2%左右已经是很明显的变化了。在我们的实验中将Minimum Detectable Effect = 5%,如果低于5%我们认为对门户网站的更改意义不大。
Statistical power(统计功效)
统计功效,当原假设为假拒绝原假设的概率。故为 1- 。一般
定义在0.2左右。
Significance Level(置信水平)
出现第一类错误的概率 就是Significance Level, 我们常说的置信水平。一般
=0.5, 也就是说保证第一类错误出现的概率不超过5%。
输入上述4个值就可以确定样本的大小,本实验样本大小是 35799.