AB实验

开发新的商品详情页相关商品模块的算法，并且打算通过AB Test（50%用户保留原先的算法逻辑为控制组，50%用户使用新的算法逻辑为实验组）来进行评估。假如你是此次实验的数据分析师，请问你会怎么评估控制组和实验组的表现？请按重要性列出最重要的三个指标并给出你的分析过程。

访问量

点击率

购买率

首先观察实验组访问量随时间的变化趋势图，刚开始几天可能会出现逐渐下降或逐渐上升的情况，等到趋于一个稳定趋势时，检测与对照组是否有显著差别。在一段时间内的访问量应该服从泊松分布，设这段时间为一天，那么要检验ab两组无差别，即H0：X1=X2。由于泊松分布可以近似为正态分布，故可以用t检验。

点击率为每个顾客的点击率，假设顾客点击的概率就为点击率，假设AB无显著差异，即P1=P2。根据中心极限定理，样本量足够大时，均值服从正态分布，故可用t检验。

购买率的检验方式与点击率相同。