A/B-TEST--第二辑 -- 一个bug和简单序贯AB TEST

搬运自 Evanmiller.org.

1. 结果显著则立即中断试验？Nope.

这是一个固定样本试验。

• 假设: 样本量已经固定。
• 正常操作：固定样本量，不中断实验，试验结束后计算结果。

	Case1	Case2	Case3	Case4
200样本	不显著	不显著	显著	显著
500样本	不显著	显著	不显著	显著
结论	不显著	显著	不显著	显著

如果A、B版本无差异，则有$\alpha$的概率认为A、B版本有显著差异（第一类错误）。
$$\begin{gathered} p(显著|无差异)=p(Case2|无差异)+p(Case4|无差异) \\ =(1-\alpha )\alpha +{\alpha }^2=\alpha \end{gathered}$$
正常操作下，会认为结论显示的显著性水平$\alpha$为真实的显著性水平。

• 异常（sao）操作：达到特定的显著性水平$\alpha$则中断实验。

	Case1	Case2	Case3	Case4
200样本	不显著	不显著	显著	显著
500样本	不显著	显著	中断	中断
结论	不显著	显著	显著	显著

如果A、B版本无差异，且预先设定的显著性水平为$\alpha$，则：
$$\begin{gathered} p(显著|无差异)=1-p(Case1|无差异) \\ =1-(1-\alpha {)}^2>\alpha \end{gathered}$$
因此，在两版本实际无差异时，会有比$\alpha$更高的概率认为两个版本有显著差异。

2. 简单序贯AB TEST的应用

• 优点：在低转换率时能够快速识别小的提升，并且允许提前停止成功的试验。
• 缺点：无效果试验的完成时间要比固定样本试验下的时间长，但如果快速确定成功改进比缩短试验的平均持续时间更重要，则这种折衷方案可能是合理的。

2.1 原理

• 随机游走
  如果用户被随机分配到两个组，并且两个组具有相同的转换率，那么两个组的成功转换的序列在数学上等同于一系列随机掷硬币问题。在任何时间点，构造一个变量$d$，它表示“Head”（即改进组成功）的数量减去“Tail”（即控制组成功）的数量。随着观测值的累积，随机变量$d$可以描述为简单的一维随机游走。若两组的转换率不相等，随机游动将倾向于偏向一个方向。

• 赌徒破产问题

（1）问题描述：赌徒的对手有无限的tokens，赌徒有$d$个tokens，如果赌徒猜对了正面或反面，赌徒就会从对手那里得到一个token；如果赌徒猜错了，他就会失去一个token。当赌徒用完token时，游戏结束。

（2）与AB TEST的联系：从$d=0$开始，$d$漂移到某个值$d^{\ast }$的概率与赌徒$d^{\ast }$个tokens减少到零的概率完全相同。因此，可用改进组与控制组成功数的差值（$T-C$）来表示$d$，而用赌徒在前$N$轮输光$d$个token（前$N$个成功观测中$T-C$达到某个阈值）的概率来表示序贯AB TEST的显著性。

2.2 应用

（1）数学表达：
若赌徒与对手单轮游戏的胜率相同（$p_1=p_2=0.5$），则刚好在第$n$轮，赌徒输光$d$个tokens的概率为：
r n , d = { d n C n n + d 2 2 − n ( n + d ) % 2 = = 0 0 e l s e r_{n,d}=\left\{ \begin{array}{lcl} \frac{d}{n}C_{n}^{\frac{n+d}{2}}2^{-n} & & {(n+d)\%2==0}\\ 0 & & {else}\\ \end{array} \right. rn,d​={ nd​Cn