python样本期望值_AB测试原理及样本量计算的Python实现

前言

为了对比不同策略的效果，如新策略点击率的提升是否显著，常需要进行A/B测试。但测试是有成本的，样本量小时不能判断出差异是否是由抽样误差引起，样本量太大时如果效果不好则会造成难以挽回的损失。如何科学地选择样本量呢？需要了解A/B测试的统计学原理

一、 A/B测试的统计学原理

(一)大数定律和中心极限定理

A/B 测试样本量的选取基于大数定律和中心极限定理。通俗地讲：

1. 大数定律：当试验条件不变时，随机试验重复多次以后，随机事件的频率近似等于随机事件的概率。

2. 中心极限定理：对独立同分布且有相同期望和方差的n个随机变量，当样本量很大时，随机变量

近似服从标准正态分布N(0,1)。

根据大数定律和中心极限定理，当样本量较大(大于30)时，可以通过Z检验(也称U检验，是为了检验在零假设情况下测试数据能否可以接近正态分布的一种统计测试)来检验测试组和对照组两个样本均值差异的显著性。

注：样本量小于30时，可进行t检验。

(二)假设检验

在进行假设检验时，我们有两个假设：原假设H0(两个样本没有显著性差异)和备择假设H1(两个样本有显著性差异)。相应地，我们可能会犯两类错误：

第I类错误：H0为真，H1为假时，拒绝H0，犯第I类错误(即错误地拒绝H0)的概率记为alpha。

第II类错误：H0为假，H1为真时&#x