Sanity Check
是实验后第一件要做的事,来保证实验进行地正确(主要在randomization;internal validity方面)。主要由两方面组成:SRM(sample ratio mismatch)(保证randomization没问题),AAtest(保证和实验treatment无关的所有其他变量在各组之间应该是statistically indifferent的)。
SRM
我们实验前分配好了control组和treatment组的sample size,但实验后清洗完数据我们发现,sample ratio(control group sample size/treatment group sample size) 我们预先设计的那个比例。这时就是发生了SRM,它说明实验的randomizatioin或数据收集过程出了差错,我们应立即停止实验来纠正这个错误,否则得到的结果就是不准确的。
产生SRM的原因:
- 实验涉及重定向网页等:如果treatment group的treatment是要通过再点击一个链接,导向一个新的界面,才能做的,那么由于用户们比较懒,可能就因此放弃了继续做下去,这样treatment group的sample size就会在实验过程中意外减小了;另一方面,如果部分用户把这个重定向的链接发给他们的朋友,那么这个treatment group的sample size就会意外扩大了。所以实验中要尽量避免这种重定向界面的出现!或者至少要使control group和treatment group关于重定向问题付出同样的努力才行!