Sanity Check: SRM, AA test

Sanity Check

是实验后第一件要做的事，来保证实验进行地正确(主要在randomization；internal validity方面)。主要由两方面组成：SRM(sample ratio mismatch)(保证randomization没问题)，AAtest(保证和实验treatment无关的所有其他变量在各组之间应该是statistically indifferent的)。

SRM

我们实验前分配好了control组和treatment组的sample size，但实验后清洗完数据我们发现，sample ratio(control group sample size/treatment group sample size) 我们预先设计的那个比例。这时就是发生了SRM，它说明实验的randomizatioin或数据收集过程出了差错，我们应立即停止实验来纠正这个错误，否则得到的结果就是不准确的。

产生SRM的原因：

1. 实验涉及重定向网页等：如果treatment group的treatment是要通过再点击一个链接，导向一个新的界面，才能做的，那么由于用户们比较懒，可能就因此放弃了继续做下去，这样treatment group的sample size就会在实验过程中意外减小了；另一方面，如果部分用户把这个重定向的链接发给他们的朋友，那么这个treatment group的sample size就会意外扩大了。所以实验中要尽量避免这种重定向界面的出现！或者至少要使control group和treatment group关于重定向问题付出同样的努力才行！