A/Btest(python)

最新推荐文章于 2024-08-23 16:53:34 发布

小黄爱吃桃

最新推荐文章于 2024-08-23 16:53:34 发布

阅读量630

点赞数 27

分类专栏：工作文章标签： python 开发语言

本文链接：https://blog.csdn.net/LL1627/article/details/140493156

版权

工作专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1 背景

某电商公司非常注重自己的落地页设计，希望通过改进设计来提高转化率。以往该公司全年转化率平均在13%左右，现在希望设计的新页阿能够带来更高的转化率，希望新页面的转化率能有2%的提升，达到15%。在正式推出新页面之前，该公司希望通过AB测试在小范围的用户中进行测试，以确保新页面的效果能够达到预期目标。

2 A/B测试基本流程

1 、确定实验目标及衡量指标

实验目标是通过AB测试确定新落地页是否可以提升2%的转化率。衡量指标即为页面转化率。

2 、设计实验方案设计

实验的具体方案，包括实验变量(即页面的具体改动点)、实验时间、实验样本量、划分实验组和对照组等。还需要确定实验数据的收集方法和分析方式。
【注】一般分析方式包括描述性统计、假设检验、置信区间估计、回归分析等等。在进行AB测试的时候，需要分析师根据实验的目标和具体情况选择合适的分析方法，并结合实际情况进行解读，提出合理的建议和决策。

3 、执行实验并收集数据

按照实验方案进行实验执行，同时记录实验数据。

4、数据分析和结果评估

对实验数据进行分析和评估，包括对实验结果的显著性检验、效果评估等，给出结论和建议。

3 设计A/B test实验

在A/B测试实验设计这一步，通常需要完成以下6个步骤:

1.提出假设

2.确定实验分组

3.计算实验样本量及试验周期

4.上线AB测试并收集数据

5.数据分析及假设检验

6.得出结论及建议

3.1 提出假设

设计AB test实验的第一步通常是提出假设。假设是对于某个特定变化我们所期望的结果，也是后续实验的基础，我们需要在后续实验中通过数据验证这个假设是否成立。如果验证成立，我们可以将这个变化推广到全部用户。如果验证不成立,则需要继续优化这个假设或者放弃这个修改方案，以寻找更好的变化。在这个实验中，我们希望新页面可以提升2%的转化率，原则上我们应选择单尾检验，准确的说，应该选择右侧单尾检验，因为我们的假设是新页面的转化率要大于旧页面的转化率。但是，在本案例中，我们并不能确定新页面的性能一定比当前的页面更好。所以，这里选择双尾检验。

【补充说明】
单尾检验和双尾检验是假设检验中的两种常见常见形式。区别在于对假设的方向性不同：

在单尾检验中，研究者针对假设提出了明确的方向性，例如“新设计的落地页转化率比原设计高”、“将按钮颜色从灰色改为红色将导致更多的点击"…因此只检验这个方向是否具有统计显著性，被称为单侧检验。
而在双尾检验中，研究者不确定假设所在的方向，例如“新设计的落地页转化率与原设计是否存在差异”、“改变页面布局会影响用户的满意度.”…需要同时检验两个方向的统计显著性，被称为双侧检验。

在AB测试中，一般应根据实验目的、数据分布情况和统计分析方法等因素来确定单尾检验或双尾检验。例如，如果实验的目的是验证新设计的落地页转化率是否明显高于旧设计，就可以选择单尾检验。但如果不确定两种设计是否存在差异，则应选择双尾检验。

简单来说，可以这样辨别单尾/双尾检验:

如果备择假设H1中是”≠”，则是双尾检验;
如果备择假设H1中是”>“或者”≥”，则是右侧单尾检验;
如果备泽假设H1中是”<“或者”≤”，则是左侧单尾检验。

需要特别注意的是:想支持的结论通常放在备择假设上。在本案例中，原假设和备择假设分别是：

原假设H0:P=PO
备择假设H1:P≠PO

其中，P0 代表的是旧版落地页的转化率，P代表的是新版落地页的转化率。

3.2 确定实验分组

在此次AB测试中，我们分为实验组和对照组两组：

对照组(control组):这一组用户将看到日版落地页
实验组(treatment组):这一组用户将看到新版落地页

为了后续计算每一组的转化效率，需要记录每一位参与实验的用户的购买行为，也就是说无论用户看到的是新版落地页还是旧版落地页，都需要记录这位用户最终是否购买了产品。这可以通过在网站上添加相应的追踪代码来实现:

0:代表用户在测试期间没有购买产品
1:代表用户在测试期间购买了产品

这样，后续就可以很容易地计算出每个组的均值，从而得到新旧两版落地页的转化率。

3.3 计算实验样本量、试验周期

实验样本量的确定

根据大数定律和中心极限定理，样本量越大的估计就会越精确，但同时也意味着成本越高，所以需要知道实验所需的最小样本量是多少，在成本可控范围里，选择合适的样本量即可。

每一个实验组所需样本量计算公式如下:
$N=\frac{\sigma ^{2}} {\delta^{2}}(Z_{1-\frac{a}{2}}+Z_{1-\beta })^{2}$
在这个公式当中，“为犯第一类错误的概率，β为犯第二类错误的概率，o代表的是样本数据的标准差，6代表的是预期实验组和对照组两组数据的差值。一般情况下，我们会设置:

显著性水平:α= 0.05，即在拒绝原假设之前，我们有95%的把握新版落地页的转化率比旧版落地页要高
统计功效(1-β):β=0.2，即表示测试检测特定效果的能力，如果该特定效果存在的话。在此案例中就是，如果新版落地页真的比旧版转换率要高，该测试有80%的概率能检测出这个状况。

当衡量指标为比率类指标时，标准差计算公式为:

$\sigma ^{2}=P_{A}(1-P_{A})+P_{B}(1-P_{B})$
其中， $P_{A}$ 和 $P_{B}$ 分别是对照组和实验组的观测值。在此案例中 $P_{A}$ =13%， $P_{B}$ =15%
每个组所需的最小样本量为:

$N=\frac{\sigma ^{2}} {\delta^{2}}(Z_{1-\frac{a}{2}}+Z_{1-\beta })^{2}$

$=(0.13(1-0.13)+0.15(1-0.15))/(0.15-0.13)^{2}*(1.96+0.84)^{2}$

$=4716$

import pandas as pd
import numpy as np
import scipy.stats as stats
import statsmodels.stats.api as sms
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns

effect_size=sms.proportion_effectsize(0.13,0.15)        #根据预期比率计算效果量
required_n=sms.NormalIndPower().solve_power(
    effect_size,
    power=0.8,
    alpha=0.05,
    ratio=1
)
np.ceil(required_n)
'''4720'''

实验周期的确定

根据上面最小样本量的计算，此次AB测试至少需要9440个用户参与测试，假如该落地页以往每天的平均浏览量为1000，则实验周期至少需要的天数为:
试验周期=9440/1000=9.4≈10(天)

3.4 上线AB测试并收集数据

目前市面上大家熟知的大公司基本上都在做AB测试，比如:百度、阿里、腾讯、字节跳动、京东、滴滴、携程、美团等。
百度:百度统计可视化A/B测试:

https://baijiahao.baidu.com/s?id=1735048932168957887&wfr=spider&for=pc

字节跳动:巨量引警「AB实验工具」:https://zhuanlan.zhihu.com/p/508366232

阿里:淘宝推出的 A/8 测试平台，主要针对淘宝商家进行 A/B 测试

腾讯:腾讯云AB实验平台:https://abtest.q9.com/
大公司做AB测试的主要特点就是。一般都是自研系统。而对于规模不是那么大的企业，也有做AB测试的需求，比如互金、运动、在线教育、Saas的都有做A/B测试，但是这部分企业一般是使用第三方的A/B测试工具。目前市面上的第三方AB测试工具主要有:
神测数据:hitps://www.sensorsdata.cn/features/ABTesting.html
ABtester:提供web网站A/B测:http://www.abtester.cn/
热云数据:支持App、web、H5的AVB测试:https://www.appadhoc.com/

3.5 数据分析及假设检验

数据集：https://www.kaggle.com/code/winnerhbh/a-b-test

字段名称含义

user_id :用户ID

timestamp:用户访问页面的时间

group:用户分组情况(新落地页为treatment组，旧版落地页为control组)

landing_page:每位用户看到的落地页(分为新旧两版落地页)

converted:是否成功转化(1代表成功转化，0代表未转化)

import pandas as pd
import numpy as np
import scipy.stats as stats
import statsmodels.stats.api as sms
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns

df = pd.read_csv(r'C:\Users\huangweiling\Desktop\ab_data.csv')


'''---------------数据预览-------------'''

df.head()
'''
user_id	timestamp	group	landing_page	converted
0	851104	2017-01-21 22:11:48.556739	control	    old_page	0
1	804228	2017-01-12 08:01:45.159739	control	    old_page	0
2	661590	2017-01-11 16:55:06.154213	treatment	new_page	0
3	853541	2017-01-08 18:28:03.143765	treatment	new_page	0
4	864975	2017-01-21 01:52:26.210827	control	    old_page	1
'''

df.info()
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 294478 entries, 0 to 294477
Data columns (total 5 columns):
 #   Column        Non-Null Count   Dtype 
---  ------        --------------   ----- 
 0   user_id       294478 non-null  int64 
 1   timestamp     294478 non-null  object
 2   group         294478 non-null  object
 3   landing_page  294478 non-null  object
 4   converted     294478 non-null  int64 
dtypes: int64(2), object(3)
memory usage: 11.2+ MB
'''


df['group'].value_counts()
'''
group
treatment    147276
control      147202
Name: count, dtype: int64
'''

'''------------数据清洗---------------'''

# 检查缺失值
df.isnull().sum()    #计算每列是否有缺失值，sum(1)计算每行是否有缺失值

'''
user_id         0
timestamp       0
group           0
landing_page    0
converted       0
dtype: int64
'''

# 检查重复值
df.duplicated().sum()    
'''0'''

# 检查用户ID的重复情况
df['user_id'].duplicated().sum()
'''3894'''

# 查询出ID重复用户的数据
df[df['user_id'].duplicated()]['user_id']  # 第一列索引，第二列为id

'''
2656      698120
2893      773192
7500      899953
8036      790934
10218     633793
           ...  
294308    905197
294309    787083
294328    641570
294331    689637
294355    744456
Name: user_id, Length: 3894, dtype: int64
'''

# 查看其中某位id重复用户的情况【抽查】
df[df['user_id'] == 698120]
'''
	user_id	timestamp	group	landing_page	converted
988	    698120	2017-01-22 07:09:37.540970	control	new_page	0
2656	698120	2017-01-15 17:13:42.602796	control	old_page	0
'''

# 存储下所有ID重复用户的ID
del_id = df[df['user_id'].duplicated()]['user_id'].values
del_id
'''
array([698120, 773192, 899953, ..., 641570, 689637, 744456])
'''

# 删除ID重复的用户【~是取反的意思，TRUE便FALSE。FALSE变TRUE】
df_new = df[~df['user_id'].isin(del_id)]
df_new
'''
	user_id	timestamp	group	landing_page	converted
0	851104	2017-01-21 22:11:48.556739	control	    old_page	0
1	804228	2017-01-12 08:01:45.159739	control	    old_page	0
2	661590	2017-01-11 16:55:06.154213	treatment	new_page	0
3	853541	2017-01-08 18:28:03.143765	treatment	new_page	0
4	864975	2017-01-21 01:52:26.210827	control	old_page	1
...	...	...	...	...	...
294473	751197	2017-01-03 22:28:38.630509	control	    old_page	0
294474	945152	2017-01-12 00:51:57.078372	control	    old_page	0
294475	734608	2017-01-22 11:45:03.439544	control	    old_page	0
294476	697314	2017-01-15 01:20:28.957438	control	    old_page	0
294477	715931	2017-01-16 12:40:24.467417	treatment	new_page	0
'''

#处理时间字段
pd.to_datetime(df_new['timestamp'], format='%Y-%m-%d %H:%M:%S.%f')
'''
0        2017-01-21 22:11:48.556739
1        2017-01-12 08:01:45.159739
2        2017-01-11 16:55:06.154213
3        2017-01-08 18:28:03.143765
4        2017-01-21 01:52:26.210827
                    ...            
294473   2017-01-03 22:28:38.630509
294474   2017-01-12 00:51:57.078372
294475   2017-01-22 11:45:03.439544
294476   2017-01-15 01:20:28.957438
294477   2017-01-16 12:40:24.467417
Name: timestamp, Length: 286690, dtype: datetime64[ns]
'''

# 处理时间并处理
df_new['timestamp'] = pd.to_datetime(df_new['timestamp'], format='%Y-%m-%d %H:%M:%S.%f').dt.strftime('%Y-%m-%d')
df_new['timestamp']
'''
0         2017-01-21
1         2017-01-12
2         2017-01-11
3         2017-01-08
4         2017-01-21
             ...    
294473    2017-01-03
294474    2017-01-12
294475    2017-01-22
294476    2017-01-15
294477    2017-01-16
Name: timestamp, Length: 286690, dtype: object
'''

# 查看实验周期
len(df_new['timestamp'].unique())
'''23'''

# 检查处理完毕后的数据
df_new.head()
'''
	user_id	timestamp	group	landing_page	converted
0	851104	2017-01-21	control	    old_page	0
1	804228	2017-01-12	control	    old_page	0
2	661590	2017-01-11	treatment	new_page	0
3	853541	2017-01-08	treatment	new_page	0
4	864975	2017-01-21	control	    old_page	1
'''

df_new.info()
'''
<class 'pandas.core.frame.DataFrame'>
Index: 286690 entries, 0 to 294477
Data columns (total 5 columns):
 #   Column        Non-Null Count   Dtype 
---  ------        --------------   ----- 
 0   user_id       286690 non-null  int64 
 1   timestamp     286690 non-null  object
 2   group         286690 non-null  object
 3   landing_page  286690 non-null  object
 4   converted     286690 non-null  int64 
dtypes: int64(2), object(3)
memory usage: 13.1+ MB
'''

#检查确定group和landing_page的值一一对应
# 利用交叉表检查：确保contorl组的用户看到的是旧页面；treament组看到的是新页面
pd.crosstab(df_new['group'], df_new['landing_page'])
'''
landing_page	new_page	old_page
group		
control	0	143293
treatment	143397	0
'''


'''------------假设检验---------------'''

# 每组随机抽取5000个样本，random_state为seed，为了固定结果，实际中不需要设置
required_n = 5000
control_sample = df_new[df_new['group'] == 'control'].sample(n=required_n, random_state=22)
treatment_sample = df_new[df_new['group'] == 'treatment'].sample(n=required_n, random_state=22)

# 两组数据上下拼接
ab_test = pd.concat([control_sample, treatment_sample], axis=0)
# 重置索引
ab_test.reset_index(drop=True, inplace=True)
ab_test
'''
	user_id	timestamp	group	landing_page	converted
0	763854	2017-01-21	control	old_page	0
1	690555	2017-01-18	control	old_page	0
2	861520	2017-01-06	control	old_page	0
3	630778	2017-01-05	control	old_page	0
4	656634	2017-01-04	control	old_page	0
...	...	...	...	...	...
9995	787786	2017-01-06	treatment	new_page	0
9996	770196	2017-01-24	treatment	new_page	0
9997	775724	2017-01-18	treatment	new_page	0
9998	920254	2017-01-23	treatment	new_page	0
9999	823865	2017-01-21	treatment	new_page	0
'''

# 利用交叉表检查：确保contorl组的用户看到的是旧页面；treament组看到的是新页面
pd.crosstab(ab_test['group'], ab_test['landing_page'])
'''
landing_page	new_page	old_page
group		
control      	0	5000
treatment	   5000	0
'''

#计算转化率并可视化
# 转化率与方差
c_r = ab_test.groupby('group')['converted'].agg([np.mean, np.std])
c_r.columns = ['conversion_rate', 'std_deviation']  # 加上列名
c_r
'''
	     conversion_rate	std_deviation
group		
control	    0.1232	0.328700
treatment	0.1266	0.332558
'''

# 可视化
# plt.rcParams['font.family'] = 'SimHei'
# plt.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(8,6), dpi=60)

sns.barplot(x=ab_test['group'], y=df_new['converted'], ci=False)

plt.ylim(0, 0.17)
plt.title('Group conversion rate', fontsize=20)
plt.xlabel('Group', fontsize=15)
plt.ylabel('conversion rate', fontsize=15)

#高出0.3%是否是显著
#假设检验

from statsmodels.stats.proportion import proportions_ztest, proportion_confint

# 提取购买结果
c_results = ab_test[ab_test['group'] == 'control']['converted']
t_results = ab_test[ab_test['group'] == 'treatment']['converted']

# 计算数量
n_c = c_results.count()
n_t = t_results.count()
successes = [c_results.sum(), t_results.sum()]
nobs = [n_c, n_t]
nobs
'''[5000, 5000]'''

# Z检验
# 计算得到Z值和p值
z_stat, pval = proportions_ztest(successes, nobs = nobs)
# 置信区间【95%】
(lower_c, lower_t), (upper_c, upper_t) = proportion_confint(successes, nobs = nobs, alpha=0.05)
print(f'z_stat:{z_stat:.2f}')
print(f'p:{pval:.2f}')
print(f'95% for control:[{lower_c:.3f}, {upper_c:.3f}]')
print(f'95% for treatment:[{lower_t:.3f}, {upper_t:.3f}]')

'''
z_stat:-0.51
p:0.61
95% for control:[0.114, 0.132]
95% for treatment:[0.117, 0.136]
p值>>显著性水平，从而不能拒绝原假设；
treatment组【实验组】的置信区间不包含我们预期的15%，同样也说明新方案无法达到预期。
'''

小黄爱吃桃

关注

27
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
A/Btest(python)

某电商公司非常注重自己的落地页设计，希望通过改进设计来提高转化率。以往该公司全年转化率平均在13%左右，现在希望设计的新页阿能够带来更高的转化率，希望新页面的转化率能有2%的提升，达到15%。在正式推出新页面之前，该公司希望通过AB测试在小范围的用户中进行测试，以确保新页面的效果能够达到预期目标。
复制链接

扫一扫

专栏目录