现在很多AB测试的帖子很多,看起来也不错,我总结了3个事情:
1、首先测试AB测试所需要的样本量到底需要多少?
我写个简单公式,就是
比如测试数据针对风险的准确率,我发现该数据的准确率是从20%-30%,结果就是
N = 16 *( 0.2*(1-0.2) + 0.3*(1-.03)/ (0.3-0.2)^2 = 37就是需要40个样本就可以了,及时放大乘以2,也就是80个样本。
样本的准确率容许差值越大,样本数量需求越少,比如准确率是从10%-50%,那么有2个样本就够了。
2、P值0.05,对应为1.96的原理,就是所有Z值只要大于这个1.96越大越好,说明2个数组间是有差异性
3、计算Z值的方法,一般都是找2个数组,然后分别做平均值、标准差,用excel计算就行
其中:
- 是样本1,样本2的平均数;
- S1,S2是样本1,样本2的标准差;
- n1,n2是样本1,样本2的容量。
后测 | 实验组 | n1 = 50 | S1b = 8 | |
控制组 | n2 = 50 | S2b = 14 |
再计算后测Z的值:
∵|Z|= 2.16>1.96
∴ 后测两组差异显著。
注意:
一般测试基本上都是基于2组数据,注意2组数据应该尽量做到样本大小一致,另外很多情况是很难做AB测试都是基于原来的一些统计值如何判断模型的有效性?
其实很简单:
就是原来的模型的精确率比如50%,你新做了一个模型的精确率是80%,那么就是
(0.8-0.5)/0.5 = 60% ,你模型比以前的模型有效性提高了60%,这个足以说明了。当时我考虑了半天AB测试看了一堆东西,后来想明白了,我只有一个结论数字,哪里做的了AB测试。
不过多看看以前的东西挺好,未来AB测试会对运营很有帮助,调整某个特征,结论不同如果来通过机器界定?