learn2share的博客

原创 有偏度数据下假设检验下的一二类错误概率探究

背景 由于一般ab-test中会使用假设检验判断两组样本的差异，是随机波动造成的，还是真实改动带来的。使用较多的是参数检验，而参数检验一般会假设数据服从某一个分布，如正态分布，二项分布等。二项分布情况相对简单，这里考虑正态分布的影响。 在使用t-test时，会有样本独立同分布且来自正态分布的要求，而现实中得到的数据很难精确服从正态分布。那么在违背正态分布时，使用t-test效果如何呢？ 本文通过模拟数据，来分析t-test在不同场景下的效果。通过衡量AA-test时p-value的分布，和AB-test时的