AB test实战（一）

阅读路线：

• 什么是AB Test？
• AB测试的基本步骤
• 影响AB测试结果准确性的因素
• 根据收集到的24天的数据进行AB测试检验（实战） 设置

目标——分析现状——提出方案——开始小规模测试——收集数据复盘——验证成功大规模推广
⬇
AB Test

1.什么是AB Test？

确定两个元素或版本（A和B）哪个版本更好；
把范围限制到互联网公司的AB测试中，是将Web或App界面或流程的两个或多个版本，在同一时间维度，分别让类似访客群组来访问，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

2.如何做AB Test？

• 现状分析并建立假设：分析业务数据，确定当前最关键的改进点，作出优化改进的假设，提出优化建议；比如说我们发现用户的转化率不高，我们假设是因为推广的着陆页面带来的转化率太低，下面就要想办法来进行改进了
• 设定目标，制定方案：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标，用来评估优化版本对其他方面的影响。
• 设计与开发：制作2个或多个优化版本的设计原型并完成技术实现：
• 分配流量：确定每个线上测试版本的分流比例，初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。
• 采集并分析数据：收集实验数据，进行有效性和效果判断：统计显著性达到95%或以上并且维持一段时间，实验可以结束；如果在95%以下，则可能需要延长测试时间；如果很长时间统计显著性不能达到95%甚至90%，则需要决定是否中止试验。
• 最后：根据试验结果确定发布新版本、调整分流比例继续测试或者在试验效果未达成的情况下继续优化迭代方案重新开发上线试验

3.影响AB测试结果准确性的因素：

• 样本数量：流量样本的数量不能过少

• 样本质量：分流出的样本是否有效

• 测试的时间长短

• 多个实验并行的相互影响

4.实战案例：

0：背景：我们现在网站也给开通了，然后我们给网站投放广告的时候，一开始给大家看到的落地页是访问课程资料,现在我们又推出了开始免费试学这个落地页，然后想着以后换上新的落地页，这时候就要检测两个落地页的转化效果了，下面是测试的24天，看数据会有24天的。
1.读取数据

import pandas as pd
import numpy as np
import random
import matplotlib as plt
random.seed(42)

df = pd.read_csv('ab-data.csv')
df.head()

len(df)

对user_id进行去重：

user_num = df.user_id.nunique()
user_num 

con_pro =<