数据分析A/BTest之APP页面

一、分析、理解问题

主要问题：由于产品更新迭代，需要测试页面的模块设计问题，哪个模块的形状会更吸引人

所以我们希望通过一个实验可以对比两个同时发生的组，一个组的用户可以看到新内容，而另一个组看不到新内容。这样就可以排除其他变量而只关注是否新内容可以促进该模块的点击量。这个实验就是A/B测试

 

 

 

二、实验设计

2.1 确定实验组与对照组

由于A/B测试只能改变一个变量并且在同一个时间段发送，投放在相同的人群中

所以我们只需要把流量分成2组

对照组：用户看到的是旧模块

实验组：用户看到的是新模块

 

2.2 确定分析指标

改变模块的形状主要是吸引用户进入点击，所以我们关心的该模块的点击率，所以我们这一次选择的是转化率

 

2.3 形成假设

A/B测试的基本思想是小概率反证法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次试验中基本上不会发生。反证法思想是先提出假设(零假设)，再用适当的统计方法确定假设成立的可能性大小，如可能性小,则认为假设不成立，若可能性大，则还不能认为假设不成立。

接下来我们要针对问题提出假设，包括零假设和对立假设

零假设：旧模块的转化率>新模块的转化率

对立假设：旧模块的转化率<新模块的转化率

 

 

2.4 确定需要收集的数据

用户ID，登陆时间，组别，展示页面，是否点击

我们需要排除同一用户的重复点击行为去除刷点击率对实验的影响，所以只把用户ID第一次浏览记录作为实验数据

 

 

2.5 流量分配设计

 

我们投入实验组和对照组的测试数量是一致的（1:1）

 

 

2.6 部署数据收集并确保实验功能和数据录入正常运行

实验设计的最后一步是部署数据收集并测试每个环节运行正常，以确保实验可以收集到正确的数据

 

三、实验分析

3.1分析总结与建议

由于拒绝原假设，所以拒绝旧模块的转化率>新模块的转化率,但是转化率比之前高不了多少，建议修改模块的其他属性