一、AB测试基础
1.1 什么是AB测试
在互联网中AB测试通常指:为web或者app界面、流程设定两个或多个版本(遵从单变量前提), 在同一时间维度下,分别让类似的客户群体来访问,收集各组用户的业务数据 ,最后根据假设检验的结果,判断哪些版本较之原版有统计意义上的差异,并根据效应量确定表现最好的版本。
1.2 AB测试的流程
1.2.1 现状分析
基于业务的数据分析,从而确定当前最关键的改进点(一般具有统计学效应的指标)。关键改进点往往是随着产品的不同生命周期阶段而变化。应用刚上线的时候,流量可能是关键改进点;流量上来以后,注册率可能成为关键改进点;再后来,客户留存率成为关键改进点;业务平稳后,就要整个流程分析,找到木桶最短板 – 业务环节里最薄弱的地方。
1.2.2 制定方案
设置主要目标:确定一个度量指标来衡量新版本是否比原始版本更成功。这通常是某种转化率,但也可以是中间步骤,比如点击率。比如一个商品的介绍页面,我们的优化主要目标通常以“点击购买按钮”的点击率 来衡量各优化版本的优劣;同时设置辅助目标,用来评估优化版本对其他方面的影响。
设置单变量新版本: 确定新版版的唯一变量:按钮的位/ 配色 /文本内容 /文本样式等 就是和老版本不同的唯一变化处。
1.2.3 设计开发
IT/产品负责设计新版本并完成技术实现。Web平台需要在页面中嵌入云眼JS脚本,然后通过可视化编辑器制作出各个优化版本。
Androi