abtest
文章平均质量分 88
NN今天敲代码了吗
这个作者很懒,什么都没留下…
展开
-
Heterogeneous Treatment Effect
一些treatment对不同subgroup的effect是不一样的。我们需要相应地分层,比较CATE(conditional average treatment effect).。只有当不同subgroup得到的treatment effect的CI没有overlap,才能明确地得到结论,否则就要继续run几次实验。通过CI得到# Average Treatment Effectd_0 = df[df['expid'] == 0]['click']d_1 = df[df['expid'] =原创 2022-02-22 16:27:38 · 1889 阅读 · 0 评论 -
Sanity Check: SRM, AA test
Sanity Check是实验后第一件要做的事,来保证实验进行地正确(主要在randomization;internal validity方面)。主要由两方面组成:SRM(sample ratio mismatch)(保证randomization没问题),AAtest(保证和实验treatment无关的所有其他变量在各组之间应该是statistically indifferent的)。SRM我们实验前分配好了control组和treatment组的sample size,但实验后清洗完数据我们原创 2022-02-06 11:18:26 · 1829 阅读 · 0 评论 -
Power analysis 和 Type II error(选取多大的sample size)
在这篇blog中(中心极限定理,Bootstrap CI_小白的博客-CSDN博客)我们简单讲了abtest中,尽力满足中心极限定理,因而需要满足的抽样的三个条件:large sample size;independent;mean difference。其中large sample size,我们只描述了要>=355*中心极限定理,Bootstrap CI_小白的博客-CSDN博客。在这基础上,sample size还需要进一步满足什么条件,才能得到真正有效力的结果呢?这就需要涉及对statist.原创 2022-01-28 12:00:24 · 2689 阅读 · 0 评论 -
中心极限定理,Bootstrap CI
前两篇链接:t-test,z-test原理_小白的博客-CSDN博客;Multiple Testing 中的 Type I error(python代码实现)_小白的博客-CSDN博客中心极限定理&Hypothesis testing中心极限定理:The mean of a large number of independent observations of a random variable (e.g., Y1, Y0) is approximately a normal random原创 2022-01-28 10:16:35 · 2992 阅读 · 0 评论 -
Multiple Testing 中的 Type I error(python代码实现)
目录Type I ErrorT-tests与Type I errorConfidence Interval与Type I error针对type I error的改进措施Type I Error含义:认为treatment group和control group之间有显著不同,而实际上并没有。也叫做"false positive".T-tests与Type I errorMultiple testing: 想知道control group和treatment gr原创 2022-01-25 14:00:07 · 1362 阅读 · 0 评论 -
t-test,z-test原理
目录Population & samplePopulation average treatment effect(PATE)Hypothesis Testing, t-test & p-valueExecute t-test via Excel & Pythonz-testPopulation & samplePopulation是全体数据集,Sample是从Population中随机抽取的实验数据集,我们想通过sample的特征最终推断出popu原创 2022-01-14 15:10:07 · 2868 阅读 · 2 评论