AB test 分析经验

最近做了一个AB,有几点经验值得记录一下。

背景

用户每日都可以打卡到微信,引导关注公众号。近期关注率有下降,怀疑与微信屏蔽有关,(微信抵制诱导分享引流到公众号)。
因此申请一个新公众号做测试,新老两个公众号内容均一致,观测两个公众号的关注率是否有差异。
关注指标:关注用户数/打卡用户数

过程

AB实验 1号上线,上线时全量切origin,2号开始1:1切

分析

step1
观察当天新进入分组的用户,在当天打卡发出的场景二维码带来的订单。连续观测多天数据,对每日即多日汇总数据进行假设检验
原假设: origin >= v2, 备则假设: origin < v2
p值 ≈ 0.002 <0.01,可以拒绝原假设,接受备则假设,即 新公众号关注率高于老公众号

##### 假设检验
n1 = c(3935,2329); d1 = c(304, 209)
n2 = c(2431,2538); d2 = c(180, 203)
n3 = c(2016,2015); d3 = c(146, 167)
n4 = c(1524,1475); d4 = c(122, 152)
alt = "less"
num_tests = 4
nt = 0; dt = 0;
for (i in 1:num_tests) {
        nx = eval(parse(text = paste0("n",i)))
        dx 
### AB Test 数据分析方法 在执行 A/B 测试时,数据收集完毕后的核心环节在于通过统计学手段验证两组或多组间是否存在显著差异。对于 A-A-B 组的数据比较而言,这一步骤尤为关键,因为其目的在于确认所观察到的变化是否可以归因于实验变量而非随机波动[^1]。 #### 假设检验流程 为了评估不同版本之间的效果差别,通常采用假设检验的方法来判断结果是否有统计上的意义。具体来说: - **建立零假设 (H0)** 和备择假设 (Ha),前者表示新旧方案无区别,后者则相反; - 计算 p-value 来衡量实际观测值偏离预期的程度;如果该概率低于预定义阈值(如 0.05),就拒绝原假设并认为存在显著性差异。 - 使用合适的分布模型(例如二项分布、正态分布等)来进行推断统计。 #### 工具支持 针对上述过程中的样本量估算部分,可借助专门网站提供的在线计算器辅助决策制定者合理规划所需参与人数规模,从而提高检测功效的同时控制成本开销。例如,Evan Miller 提供了一个便捷易用的样本量计算工具,能够帮助研究者快速获取所需的最小样本数量以达到理想的置信水平和效应大小估计精度[^2]。 ```python import statsmodels.api as sm from scipy import stats def ab_test_analysis(control_conversion, treatment_conversion, control_size, treatment_size): """ Perform an A/B test analysis using proportions. Parameters: control_conversion : int Number of conversions in the control group. treatment_conversion : int Number of conversions in the treatment group. control_size : int Total number of subjects in the control group. treatment_size : int Total number of subjects in the treatment group. Returns: tuple: z-score and p-value from hypothesis testing. """ count = [control_conversion, treatment_conversion] nobs = [control_size, treatment_size] stat, pval = props_ztest(counts=count, nobs=nobs) return round(stat, 4), round(pval, 4) # Example usage with hypothetical data points z_score, p_value = ab_test_analysis(87, 96, 1000, 1000) print(f"Z-Score: {z_score}, P-Value: {p_value}") ``` 此代码片段展示了如何利用 Python 中 `statsmodels` 库实现比例对比型 A/B 测试的结果解析功能。它接收对照组与处理组各自的转化次数及其总体成员数目作为输入参数,并返回相应的 Z 得分及相伴概率用于后续解释说明。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值