AB test 分析经验

最近做了一个AB，有几点经验值得记录一下。

背景

用户每日都可以打卡到微信，引导关注公众号。近期关注率有下降，怀疑与微信屏蔽有关，（微信抵制诱导分享引流到公众号）。
因此申请一个新公众号做测试，新老两个公众号内容均一致，观测两个公众号的关注率是否有差异。
关注指标：关注用户数/打卡用户数

过程

AB实验 1号上线，上线时全量切origin，2号开始1:1切

分析

step1
观察当天新进入分组的用户，在当天打卡发出的场景二维码带来的订单。连续观测多天数据，对每日即多日汇总数据进行假设检验
原假设： origin >= v2， 备则假设： origin < v2
p值 ≈ 0.002 <0.01，可以拒绝原假设，接受备则假设，即 新公众号关注率高于老公众号

##### 假设检验
n1 = c(3935,2329); d1 = c(304, 209)
n2 = c(2431,2538); d2 = c(180, 203)
n3 = c(2016,2015); d3 = c(146, 167)
n4 = c(1524,1475); d4 = c(122, 152)
alt = "less"
num_tests = 4
nt = 0; dt = 0;
for (i in 1:num_tests) {
        nx = eval(parse(text = paste0("n",i)))
        dx