目录
前言
随着企业日常经营活动的进行,企业内部必然产生了各式各样的数据,如何利用这些数据得出有益的见解,并支持我们下一步的产品迭代以及领导决策就显得尤为重要。
A/B测试是互联网企业常用的一种基于数据的产品迭代方法,它的主要思想是在控制其他条件不变的前提下对不同(或同一、同质)样本设计不同实验水平(方案),并根据最终的数据变现来判断自变量对因变量的影响;A/B测试的理论基础主要源于数理统计中的假设检验部分。
数据说明
数据集分为test.xlsx与city.xlsx两部分:
其中test.xlsx为滴滴出行某次A/B测试结果数据,各字段说明如下:
字段名称 | 字段解释 |
date | 日期 |
group | 组别 |
requests | 订单请求数 |
gmv | 成交总额 |
coupon per trip | 每单优惠券金额 |
trips | 订单数 |
canceled requests | 取消请求数 |
city.xlsx为某城市运营数据,各字段说明如下:
字段名称 | 字段解释 |
date | 日期 |
hour | 时点 |
requests | 订单请求数 |
trips | 订单数 |
supply hours | 可服务时长 |
average minutes of trips | 平均订单时长 |
pETA | 顾客预计等待时长 |
aETA | 顾客实际等待时长 |
utiliz | 司机在忙率 |
test.xlsx数据可以用来判断实验条件对此次A/B测试的结果影响是否显著;city.xlsx数据可以用来探索该城市运营中出现的问题,根据关键结论辅助决策。
一、A/B测试效果分析
1 数据导入
#A/B测试结果数据导入
import pandas as pd
test = pd.read_excel('test.xlsx', engine='openpyxl')
test.head()
这里需要注意xlrd1.2.0之后的版本不支持xlsx格式,支持xls格式。
办法一:
卸载新版本:pip uninstall xlrd
安装老版本:pip install xlrd=1.2.0 (或者更早版本)
方法二:
将xlrd用到的excel版本格式修改为xls(保险起见,另存为xls格式)
办法三:
使用openpyxl库去连接"xlsx"格式文件,代码跟换为:
test = pd.read_excel('test.xlsx', engine='openpyxl')
2 计算ROI(投资回报率)
#计算优惠券投入相对gmv的ROI
test['ROI']=test['gmv']/(test['coupon per trip']*test['trips'])
test.head()
3 requests检验
test.group.value_counts()
数据共58条,对照组与实验组各29条。
3.1 requests方差检验
记两组requests方差分别为c1,c2
零假设H0:c1=c2;备选假设H1:c1≠c2
显著性水平取0.05
#levene检验requests是否齐方差
requests_