关于AB测试的效果推论

现在很多AB测试的帖子很多，看起来也不错，我总结了3个事情：

1、首先测试AB测试所需要的样本量到底需要多少？

我写个简单公式，就是

 比如测试数据针对风险的准确率，我发现该数据的准确率是从20%-30%，结果就是

N = 16 *( 0.2*(1-0.2) + 0.3*(1-.03)/ (0.3-0.2)^2 = 37就是需要40个样本就可以了，及时放大乘以2，也就是80个样本。

样本的准确率容许差值越大，样本数量需求越少，比如准确率是从10%-50%，那么有2个样本就够了。

2、P值0.05，对应为1.96的原理，就是所有Z值只要大于这个1.96越大越好，说明2个数组间是有差异性

3、计算Z值的方法，一般都是找2个数组，然后分别做平均值、标准差，用excel计算就行

　　

 

　　其中：

• 是样本1，样本2的平均数；
• S1,S2是样本1，样本2的标准差；
• n1,n2是样本1，样本2的容量。

后测	实验组	n1 = 50		S1b = 8
	控制组	n2 = 50		S2b = 14

　　再计算后测Z的值:

　　

∵|Z|= 2.16＞1.96

∴ 后测两组差异显著。

注意：

一般测试基本上都是基于2组数据，注意2组数据应该尽量做到样本大小一致，另外很多情况是很难做AB测试都是基于原来的一些统计值如何判断模型的有效性？

其实很简单：

就是原来的模型的精确率比如50%，你新做了一个模型的精确率是80%，那么就是

（0.8-0.5）/0.5 = 60% ,你模型比以前的模型有效性提高了60%,这个足以说明了。当时我考虑了半天AB测试看了一堆东西，后来想明白了，我只有一个结论数字，哪里做的了AB测试。

不过多看看以前的东西挺好，未来AB测试会对运营很有帮助，调整某个特征，结论不同如果来通过机器界定？