1 背景
某电商公司非常注重自己的落地页设计,希望通过改进设计来提高转化率。以往该公司全年转化率平均在13%左右,现在希望设计的新页阿能够带来更高的转化率,希望新页面的转化率能有2%的提升,达到15%。在正式推出新页面之前,该公司希望通过AB测试在小范围的用户中进行测试,以确保新页面的效果能够达到预期目标。
2 A/B测试基本流程
1 、确定实验目标及衡量指标
实验目标是通过AB测试确定新落地页是否可以提升2%的转化率。衡量指标即为页面转化率。
2 、设计实验方案设计
实验的具体方案,包括实验变量(即页面的具体改动点)、实验时间、实验样本量、划分实验组和对照组等。还需要确定实验数据的收集方法和分析方式。
【注】一般分析方式包括描述性统计、假设检验、置信区间估计、回归分析等等。在进行AB测试的时候,需要分析师根据实验的目标和具体情况选择合适的分析方法,并结合实际情况进行解读,提出合理的建议和决策。
3 、执行实验并收集数据
按照实验方案进行实验执行,同时记录实验数据。
4、 数据分析和结果评估
对实验数据进行分析和评估,包括对实验结果的显著性检验、效果评估等,给出结论和建议。
3 设计A/B test实验
在A/B测试实验设计这一步,通常需要完成以下6个步骤:
1.提出假设
2.确定实验分组
3.计算实验样本量及试验周期
4.上线AB测试并收集数据
5.数据分析及假设检验
6.得出结论及建议
3.1 提出假设
设计AB test实验的第一步通常是提出假设。假设是对于某个特定变化我们所期望的结果,也是后续实验的基础,我们需要在后续实验中通过数据验证这个假设是否成立。如果验证成立,我们可以将这个变化推广到全部用户。如果验证不成立,则需要继续优化这个假设或者放弃这个修改方案,以寻找更好的变化。在这个实验中,我们希望新页面可以提升2%的转化率,原则上我们应选择单尾检验,准确的说,应该选择右侧单尾检验,因为我们的假设是新页面的转化率要大于旧页面的转化率。但是,在本案例中,我们并不能确定新页面的性能一定比当前的页面更好。所以,这里选择双尾检验。
【补充说明】
单尾检验和双尾检验是假设检验中的两种常见常见形式。区别在于对假设的方向性不同:
- 在单尾检验中,研究者针对假设提出了明确的方向性,例如“新设计的落地页转化率比原设计高”、“将按钮颜色从灰色改为红色将导致更多的点击"…因此只检验这个方向是否具有统计显著性,被称为单侧检验。
- 而在双尾检验中,研究者不确定假设所在的方向,例如“新设计的落地页转化率与原设计是否存在差异”、“改变页面布局会影响用户的满意度.”…需要同时检验两个方向的统计显著性,被称为双侧检验。
在AB测试中,一般应根据实验目的、数据分布情况和统计分析方法等因素来确定单尾检验或双尾检验。例如,如果实验的目的是验证新设计的落地页转化率是否明显高于旧设计,就可以选择单尾检验。但如果不确定两种设计是否存在差异,则应选择双尾检验。
简单来说,可以这样辨别单尾/双尾检验:
- 如果备择假设H1中是”≠”,则是双尾检验;
- 如果备择假设H1中是”>“或者”≥”,则是右侧单尾检验;
- 如果备泽假设H1中是”<“或者”≤”,则是左侧单尾检验。
需要特别注意的是:想支持的结论通常放在备择假设上。在本案例中,原假设和备择假设分别是:
- 原假设H0:P=PO
- 备择假设H1:P≠PO
其中,P0 代表的是旧版落地页的转化率,P代表的是新版落地页的转化率。
3.2 确定实验分组
在此次AB测试中,我们分为实验组和对照组两组:
- 对照组(control组):这一组用户将看到日版落地页
- 实验组(treatment组):这一组用户将看到新版落地页
为了后续计算每一组的转化效率,需要记录每一位参与实验的用户的购买行为,也就是说无论用户看到的是新版落地页还是旧版落地页,都需要记录这位用户最终是否购买了产品。这可以通过在网站上添加相应的追踪代码来实现:
- 0:代表用户在测试期间没有购买产品
- 1:代表用户在测试期间购买了产品
这样,后续就可以很容易地计算出每个组的均值,从而得到新旧两版落地页的转化率。
3.3 计算实验样本量、试验周期
- 实验样本量的确定
根据大数定律和中心极限定理,样本量越大的估计就会越精确,但同时也意味着成本越高,所以需要知道实验所需的最小样本量是多少,在成本可控范围里,选择合适的样本量即可。
每一个实验组所需样本量计算公式如下:
在这个公式当中,“为犯第一类错误的概率,β为犯第二类错误的概率,o代表的是样本数据的标准差,6代表的是预期实验组和对照组两组数据的差值。一般情况下,我们会设置:
- 显著性水平:α= 0.05,即在拒绝原假设之前,我们有95%的把握新版落地页的转化率比旧版落地页要高
- 统计功效(1-β):β=0.2,即表示测试检测特定效果的能力,如果该特定效果存在的话。在此案例中就是,如果新版落地页真的比旧版转换率要高,该测试有80%的概率能检测出这个状况。
当衡量指标为比率类指标时,标准差计算公式为:
其中,和
分别是对照组和实验组的观测值。在此案例中
=13%,
=15%
每个组所需的最小样本量为:
import pandas as pd
import numpy as np
import scipy.stats as stats
import statsmodels.stats.api as sms
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
effect_size=sms.proportion_effectsize(0.13,0.15) #根据预期比率计算效果量
required_n=sms.NormalIndPower().solve_power(
effect_size,
power=0.8,
alpha=0.05,
ratio=1
)
np.ceil(required_n)
'''4720'''
- 实验周期的确定
根据上面最小样本量的计算,此次AB测试至少需要9440个用户参与测试,假如该落地页以往每天的平均浏览量为1000,则实验周期至少需要的天数为:
试验周期=9440/1000=9.4≈10(天)
3.4 上线AB测试并收集数据
目前市面上大家熟知的大公司基本上都在做AB测试,比如:百度、阿里、腾讯、字节跳动、京东、滴滴、携程、美团等。
百度:百度统计可视化A/B测试:
https://baijiahao.baidu.com/s?id=1735048932168957887&wfr=spider&for=pc
字节跳动:巨量引警「AB实验工具」:https://zhuanlan.zhihu.com/p/508366232
阿里:淘宝推出的 A/8 测试平台,主要针对淘宝商家进行 A/B 测试
腾讯:腾讯云AB实验平台:https://abtest.q9.com/
大公司做AB测试的主要特点就是。一般都是自研系统。而对于规模不是那么大的企业,也有做AB测试的需求,比如互金、运动、在线教育、Saas的都有做A/B测试,但是这部分企业一般是使用第三方的A/B测试工具。目前市面上的第三方AB测试工具主要有:
神测数据:hitps://www.sensorsdata.cn/features/ABTesting.html
ABtester:提供web网站A/B测:http://www.abtester.cn/
热云数据:支持App、web、H5的AVB测试:https://www.appadhoc.com/
3.5 数据分析及假设检验
数据集:https://www.kaggle.com/code/winnerhbh/a-b-test
字段名称含义
user_id :用户ID
timestamp:用户访问页面的时间
group:用户分组情况(新落地页为treatment组,旧版落地页为control组)
landing_page:每位用户看到的落地页(分为新旧两版落地页)
converted:是否成功转化(1代表成功转化,0代表未转化)
import pandas as pd
import numpy as np
import scipy.stats as stats
import statsmodels.stats.api as sms
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
df = pd.read_csv(r'C:\Users\huangweiling\Desktop\ab_data.csv')
'''---------------数据预览-------------'''
df.head()
'''
user_id timestamp group landing_page converted
0 851104 2017-01-21 22:11:48.556739 control old_page 0
1 804228 2017-01-12 08:01:45.159739 control old_page 0
2 661590 2017-01-11 16:55:06.154213 treatment new_page 0
3 853541 2017-01-08 18:28:03.143765 treatment new_page 0
4 864975 2017-01-21 01:52:26.210827 control old_page 1
'''
df.info()
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 294478 entries, 0 to 294477
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 user_id 294478 non-null int64
1 timestamp 294478 non-null object
2 group 294478 non-null object
3 landing_page 294478 non-null object
4 converted 294478 non-null int64
dtypes: int64(2), object(3)
memory usage: 11.2+ MB
'''
df['group'].value_counts()
'''
group
treatment 147276
control 147202
Name: count, dtype: int64
'''
'''------------数据清洗---------------'''
# 检查缺失值
df.isnull().sum() #计算每列是否有缺失值,sum(1)计算每行是否有缺失值
'''
user_id 0
timestamp 0
group 0
landing_page 0
converted 0
dtype: int64
'''
# 检查重复值
df.duplicated().sum()
'''0'''
# 检查用户ID的重复情况
df['user_id'].duplicated().sum()
'''3894'''
# 查询出ID重复用户的数据
df[df['user_id'].duplicated()]['user_id'] # 第一列索引,第二列为id
'''
2656 698120
2893 773192
7500 899953
8036 790934
10218 633793
...
294308 905197
294309 787083
294328 641570
294331 689637
294355 744456
Name: user_id, Length: 3894, dtype: int64
'''
# 查看其中某位id重复用户的情况【抽查】
df[df['user_id'] == 698120]
'''
user_id timestamp group landing_page converted
988 698120 2017-01-22 07:09:37.540970 control new_page 0
2656 698120 2017-01-15 17:13:42.602796 control old_page 0
'''
# 存储下所有ID重复用户的ID
del_id = df[df['user_id'].duplicated()]['user_id'].values
del_id
'''
array([698120, 773192, 899953, ..., 641570, 689637, 744456])
'''
# 删除ID重复的用户【~是取反的意思,TRUE便FALSE。FALSE变TRUE】
df_new = df[~df['user_id'].isin(del_id)]
df_new
'''
user_id timestamp group landing_page converted
0 851104 2017-01-21 22:11:48.556739 control old_page 0
1 804228 2017-01-12 08:01:45.159739 control old_page 0
2 661590 2017-01-11 16:55:06.154213 treatment new_page 0
3 853541 2017-01-08 18:28:03.143765 treatment new_page 0
4 864975 2017-01-21 01:52:26.210827 control old_page 1
... ... ... ... ... ...
294473 751197 2017-01-03 22:28:38.630509 control old_page 0
294474 945152 2017-01-12 00:51:57.078372 control old_page 0
294475 734608 2017-01-22 11:45:03.439544 control old_page 0
294476 697314 2017-01-15 01:20:28.957438 control old_page 0
294477 715931 2017-01-16 12:40:24.467417 treatment new_page 0
'''
#处理时间字段
pd.to_datetime(df_new['timestamp'], format='%Y-%m-%d %H:%M:%S.%f')
'''
0 2017-01-21 22:11:48.556739
1 2017-01-12 08:01:45.159739
2 2017-01-11 16:55:06.154213
3 2017-01-08 18:28:03.143765
4 2017-01-21 01:52:26.210827
...
294473 2017-01-03 22:28:38.630509
294474 2017-01-12 00:51:57.078372
294475 2017-01-22 11:45:03.439544
294476 2017-01-15 01:20:28.957438
294477 2017-01-16 12:40:24.467417
Name: timestamp, Length: 286690, dtype: datetime64[ns]
'''
# 处理时间并处理
df_new['timestamp'] = pd.to_datetime(df_new['timestamp'], format='%Y-%m-%d %H:%M:%S.%f').dt.strftime('%Y-%m-%d')
df_new['timestamp']
'''
0 2017-01-21
1 2017-01-12
2 2017-01-11
3 2017-01-08
4 2017-01-21
...
294473 2017-01-03
294474 2017-01-12
294475 2017-01-22
294476 2017-01-15
294477 2017-01-16
Name: timestamp, Length: 286690, dtype: object
'''
# 查看实验周期
len(df_new['timestamp'].unique())
'''23'''
# 检查处理完毕后的数据
df_new.head()
'''
user_id timestamp group landing_page converted
0 851104 2017-01-21 control old_page 0
1 804228 2017-01-12 control old_page 0
2 661590 2017-01-11 treatment new_page 0
3 853541 2017-01-08 treatment new_page 0
4 864975 2017-01-21 control old_page 1
'''
df_new.info()
'''
<class 'pandas.core.frame.DataFrame'>
Index: 286690 entries, 0 to 294477
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 user_id 286690 non-null int64
1 timestamp 286690 non-null object
2 group 286690 non-null object
3 landing_page 286690 non-null object
4 converted 286690 non-null int64
dtypes: int64(2), object(3)
memory usage: 13.1+ MB
'''
#检查确定group和landing_page的值一一对应
# 利用交叉表检查:确保contorl组的用户看到的是旧页面;treament组看到的是新页面
pd.crosstab(df_new['group'], df_new['landing_page'])
'''
landing_page new_page old_page
group
control 0 143293
treatment 143397 0
'''
'''------------假设检验---------------'''
# 每组随机抽取5000个样本,random_state为seed,为了固定结果,实际中不需要设置
required_n = 5000
control_sample = df_new[df_new['group'] == 'control'].sample(n=required_n, random_state=22)
treatment_sample = df_new[df_new['group'] == 'treatment'].sample(n=required_n, random_state=22)
# 两组数据上下拼接
ab_test = pd.concat([control_sample, treatment_sample], axis=0)
# 重置索引
ab_test.reset_index(drop=True, inplace=True)
ab_test
'''
user_id timestamp group landing_page converted
0 763854 2017-01-21 control old_page 0
1 690555 2017-01-18 control old_page 0
2 861520 2017-01-06 control old_page 0
3 630778 2017-01-05 control old_page 0
4 656634 2017-01-04 control old_page 0
... ... ... ... ... ...
9995 787786 2017-01-06 treatment new_page 0
9996 770196 2017-01-24 treatment new_page 0
9997 775724 2017-01-18 treatment new_page 0
9998 920254 2017-01-23 treatment new_page 0
9999 823865 2017-01-21 treatment new_page 0
'''
# 利用交叉表检查:确保contorl组的用户看到的是旧页面;treament组看到的是新页面
pd.crosstab(ab_test['group'], ab_test['landing_page'])
'''
landing_page new_page old_page
group
control 0 5000
treatment 5000 0
'''
#计算转化率并可视化
# 转化率与方差
c_r = ab_test.groupby('group')['converted'].agg([np.mean, np.std])
c_r.columns = ['conversion_rate', 'std_deviation'] # 加上列名
c_r
'''
conversion_rate std_deviation
group
control 0.1232 0.328700
treatment 0.1266 0.332558
'''
# 可视化
# plt.rcParams['font.family'] = 'SimHei'
# plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(8,6), dpi=60)
sns.barplot(x=ab_test['group'], y=df_new['converted'], ci=False)
plt.ylim(0, 0.17)
plt.title('Group conversion rate', fontsize=20)
plt.xlabel('Group', fontsize=15)
plt.ylabel('conversion rate', fontsize=15)
#高出0.3%是否是显著
#假设检验
from statsmodels.stats.proportion import proportions_ztest, proportion_confint
# 提取购买结果
c_results = ab_test[ab_test['group'] == 'control']['converted']
t_results = ab_test[ab_test['group'] == 'treatment']['converted']
# 计算数量
n_c = c_results.count()
n_t = t_results.count()
successes = [c_results.sum(), t_results.sum()]
nobs = [n_c, n_t]
nobs
'''[5000, 5000]'''
# Z检验
# 计算得到Z值和p值
z_stat, pval = proportions_ztest(successes, nobs = nobs)
# 置信区间【95%】
(lower_c, lower_t), (upper_c, upper_t) = proportion_confint(successes, nobs = nobs, alpha=0.05)
print(f'z_stat:{z_stat:.2f}')
print(f'p:{pval:.2f}')
print(f'95% for control:[{lower_c:.3f}, {upper_c:.3f}]')
print(f'95% for treatment:[{lower_t:.3f}, {upper_t:.3f}]')
'''
z_stat:-0.51
p:0.61
95% for control:[0.114, 0.132]
95% for treatment:[0.117, 0.136]
p值>>显著性水平,从而不能拒绝原假设;
treatment组【实验组】的置信区间不包含我们预期的15%,同样也说明新方案无法达到预期。
'''