Greedy Match学习笔记二 —— 安慰剂检验与置信区间计算
上一节我们介绍了Greedy Match的基本原理。本节中,我们将在不同样本量的情况下分别进行安慰剂检验,以验证Greedy Match的结果是否真实可信。同时,我们也会提出几种估算该匹配置信区间的方法,使结果更加完善。
安慰剂检验(Placebo Test)
实验原理
在没有干预的情况下,随机从样本中取出一定比例的人,将他们定义为实验组。然后使用Greedy Match,为他们匹配相应的对照组。观察在之后的一段时间,实验组和对照组的表现是否会产生显著区别。
样本背景
该样本为所有在2016年三月份有过购买行为的买家,从中随机抽取1/4、1/10、1/100、1/500的人作为实验组,根据其在三月份前的表现进行匹配得到对照组,并观察两组买家在三月份前后的表现情况。(所有数据均已经过脱敏处理,并非真实数据。)
检验结果
结论
可以看到,虽然我们在匹配之时,只限定了三月之前的购买情况,但是在之后的很长一段时间内,T和C的表现没有显著差别,且这一稳定性适用于不同规模(Sample size)的各个样本。
置信度与置信区间
置信度
因为Greedy Match为一一匹配,所以T和C的样本量是一样的,所以我们通常会选择等样本量,不等方差的Two Sample T-test。
统计量为
t=T¯¯¯−C¯¯¯SΔ
(where