实验评估相关笔记

1 - 最小样本量

1.1 - 率指标

便捷网站
https://www.evanmiller.org/ab-testing/sample-size.html
Baseline conversion rate：输入基期率值，例如30%
Minimum Detectable Effect：输入预期提升幅度，例如5%（30%提升至5%）
python脚本

from statsmodels.stats.power import GofChisquarePower
from statsmodels.stats.power import zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize as es

#卡方检验
#设定显著性水平为0.05，检验功效为0.8，效应量为标准均差计算方式，对照组和实验组的（预期）比率分别为30%和35%，实验组和对照组数量相等，双边检验。
GofChisquarePower().solve_power(effect_size=es(prop1=0.35, prop2=0.30, method= 'normal'), alpha=0.05, power=0.8,n_bins=2)

#z检验
#设定显著性水平为0.05，检验功效为0.8，效应量为标准均差计算方式，对照组和实验组的（预期）比率分别为30%和35%，实验组和对照组数量相等，双边检验。
zt_ind_solve_power(effect_size=es(prop1=0.35, prop2=0.30, method= 'normal'), alpha=0.05, power=0.8, ratio=1.0, alternative="two-sided")