数据分析之AB测试

定义

AB测试是指为了评估模型/项目的效果，在App/PC端同时设计多个版本，在同一纬度下，分别让组成成分相同（相似）的访客群组随机访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好的版本正式采用。

过程

试验分组→进行试验→分析结果

分组方法

一种是基于特定指标（唯一标识）进行分组，分组过程中不需要对这些唯一标识进行处理。另外一种就是基于这些唯一标识，通过一个固定的hash函数对用户唯一标识进行hash取模、粪桶，将用户均匀地分配至若干个试验桶里。

多个试验并行的情况如何分组

对于所有的用户，需要在所有的试验开始前将其划分为不同的域，不同域之前的用户相互独立，交集为空。
域可以分为：独占域（重要试验）和共享域（要进行分层）；
需要注意的是，在同一个共享域不可以同时进行过多的试验，即使基于正交的方法可以保证随机性，但通常最多也不要超过7个试验同时进行，同时也要考虑是否有办法验证分组的随机性。

如何证明AB测试分组的随机性？

引入AA测试。

AB测试的优缺点

优点是：能够更加科学的解释项目效果，避免人为因素的干扰；
缺点是：为了保证AB测试能够达到预期效果，需要一定数据量为保证。另外如果多个AB测试同时进行，则可能会因为相互干扰而无法达到预期的效果。