A/B测试流程:
1.确定指标
2.提出假设
3.实验设计
4.实施实验
5.分析决策
1.确定指标
找到一个点击率高的文案
点击率=点击按钮的用户/访问该活动页面的用户数
衡量业务的指标:
概率类指标:点击率
2.提出假设
活动页面按钮文案从立即分享转化为立即邀请好友薅羊毛可以提升点击率
原假设:实验组(优化版本)和对照组(现有版本)点击率标相同
备则假设:实验组(优化版本)和对照组(现有版本)点击率不同
3. 实验设计
1.确定实验对象和实验单位
实验对象:这个产品的全部用户
实验单位:用户ID
2.估算最小样本量
(A/B测试样本量计算器)https://bowei-zhang.shinyapps.io/Sample_Size_Calculator/
4.实施实验
发布实验
实验时长(估算最小总样本量/每天可以得到的样本量)
收集数据
汇总统计
概率类Z检验
#用于数学计算的包
import math
def confidence_interval(shin,shiz,duin,duiz):
#实验组转化率
ship = shiz/shin
#对照组转化率
duip = duiz/duin
#计算置信区间
lower = (ship-duip) - 1.96 * math.sqrt(ship*(1-ship)/shin+duip*(1-duip)/duin)
upper= (ship-duip) + 1.96 * math.sqrt(ship*(1-ship)/shin+duip*(1-duip)/duin)
return lower,upper
#实验组样本量
shin = 145119
#实验组转化人数
shiz=19976
#对照组样本量
duin = 145265
#对照组转化人数
duiz=17501
lower,upper=confidence_interval(shin,shiz,duin,duiz)
#输出置信区间
print(lower,upper)
#0.01473803001922366 0.019614322879190963
5. 分析决策
A/B测试结论
选择实验组。实验组上线后有95%的概率使点击率提升1.47%-1.96%。