AB实验样本量确定

在数据分析过程中， 一个完整的闭环是从数据中得到洞察，根据洞察得到某种假设，通过实验检验这一假设。

AB实验实际上是在做一个假设检验，可以参考上一篇笔记【概率论】- (2)假设检验。在查资料的过程中，查到AB实验主要有两种检验方式（不同的样本量，不同的检验方式）——

• Z检验，即检验实验组与对照组服从分布的均值是否相等
• 卡方检验，即检验实验组是否服从理论分布（将对照组看成理论分布）

这里以Z检验为例，介绍如何确定AB实验中实验组与对照组的样本量，提供相应的代码，卡方检验原理相似。

1. 统计功效与关键概念

在假设检验中有以下两类错误——

• 弃真：原假设为真，而我们拒绝原假设，这种错误称为一型错误
• 取伪：原假设为假，而我们接受原假设，这种错误称为二型错误

在教科书中一般只限定显著性水平为 $\alpha$，即只考虑一型错误的概率，而不考虑二型错误。但在实际应用中（如AB实验），二型错误也必须限定在较低的范围内。如下例子，这种情况下即使 $\alpha$ 足够小，实验结果仍不够具有说服性。

假设实验的显著性水平 $\alpha =0.01$，二型错误概率 $\beta =0.5$，这意味着——

• 若原假设为真，我们判断出错（即拒绝）的概率为1%；
• 若原假设为假，我们判断出错（即接受）的概率为50%。

上面说的考虑二型错误，更常见的是考虑统计功效Statistical Power。

统计功效是指当原假设为假，拒绝原假设的概率。因此有 $power=1-\beta$。

通过求解统计功效，即可得到统计功效与 $\alpha 、n$ 的关系式。反过来，知道 $\alpha 、power$ 后就可以求出所需的样本量。

2. Z检验样本量确定

2.1 统计功效公式推导

• 原假设与备择假设如下：

$$\begin{gathered} H_0:{\mu }_A={\mu }_B \\ {H}_1:{\mu }_A\ne {\mu }_B\text{\hspace{1em}(1)} \end{gathered}$$

• 令 $\delta ={\mu }_A-{\mu }_B$，按照二型错误的概念，假设 ${\sigma }_A={\sigma }_B=\sigma$， 有

β = P ( 接 受 H 0 ∣ H 0 为 假 ) = P ( − z α / 2 ≤ x ˉ A − x ˉ B σ / n A + n B ≤ z α / 2 ∣ δ ≠ 0 ) = P ( − z α / 2 − δ σ / n A + n B ≤ ( x ˉ A − x ˉ B ) − δ σ / n A + n B ≤ z α /