在广告实验田AA测试时(实验组VS对照组),如果主要对比click相关指标(CTR、PPC)时,需要注意pv量是否足够大的问题。
假设在实验组与对照组中,竞得的pv大约为各自50万的量级,那么这100w的pv在实验组与对照组之间的分布会非常接近50wVS50w;
但若按照千分之一的点击率估算,这100w会带来1000click,1000click的分布考虑投掷硬币的二项分布F(k,n,p),k=500,n=1000,p=0.5为可能性最大的分布;
但分布为475vs525以及更偏分布的概率大约为12%,这种偶然的自然波动导致实验组vs对照组的ctr差异,不容忽视。