chapter5.哪种广告的效果更好

最新推荐文章于 2023-05-31 18:45:43 发布

SherryGo

最新推荐文章于 2023-05-31 18:45:43 发布

阅读量197

点赞数

分类专栏：数据分析

本文链接：https://blog.csdn.net/xueruixuan/article/details/108868185

版权

数据分析专栏收录该内容

7 篇文章 0 订阅

订阅专栏

商业数据分析实战（酒卷隆志/里洋平）

第五章案例3——A/B测试：哪种广告的效果更好

广告的A/B测试

某个促销活动每月都会展开一次，但和公司内其他类似的促销活动相比，该促销活动的用户购买率比较低。通过调查用户购买率低的原因，发现问题可能出在促销活动的广告上。于是我们准备两种不同的广告，来验证哪种广告能够带来更高的用户购买率，那么我们应该如何来比较呢？

5.1现状和预期

5.2发现问题

和其他应用有何不同

首先，为了明确现状和预期之间的差距，我们需要从大的视角出发来考虑《黑猫拼图》游戏和其他应用功能有何不同，并尝试做出假设。

1).游戏装备促销活动的内容有问题

-->销售的游戏装备并不是用户需要的

-->促销打折的力度不够，对用户没有太大吸引力

2).广告的外观展示有问题

总之我们先做出上述两种假设。首先针对第1个假设，我们咨询了《黑猫拼图》游戏的策划部门，并从那里得到了如下反馈。

游戏装备促销活动中出售的游戏装备或许能够用得上
和其他应用一样，促销是的装备打五折，这从用户的立场来看是很划算的

5.3数据的收集和加工

探索验证方法

我们来总结一下本案例的问题和解决方案

问题

《黑猫拼图》游戏的广告点击率比其他应用低（事实）
《黑猫拼图》游戏的广告设计有问题（假设）

解决方案

用点击率高的广告替换目前所使用的广告（解决方案）

如果采用前后比较的方法，则无法排除外部因素的干扰

比如：在投放广告A和广告B的时间里：

投放广告B的时候是购买率比较容易提升的时候
投放广告B的时候，某个宣传活动获得了巨大成功
投放广告B的时候，在TVC的放映或者电视节目介绍了《黑猫拼图》游戏
投放广告A的时候......

采用A/B测试的方法排除外部因素干扰

A/B测试中的用户分组必须遵循随机的原则

同时进行多个A/B测试时的陷阱

利用统计学上的假设检验来过滤

收集和加工验证所需要的的数据

A/B测试的日志输出

分析前的数据加工

5.4数据分析

弄清楚A和B的点击率是否存在显著性差异

1）、加载数据

filepath = 'E:\\Download\\data_analysis\\data' 
os.chdir(filepath) #将工作路径设置至filepath
imp=pd.read_csv('section5-ab_test_imp.csv', parse_dates=['log_date'])
goal=pd.read_csv("section5-ab_test_goal.csv", parse_dates=['log_date'])

2）、合并曝光和点击的数据

imp_goal = pd.merge(imp, goal, on='transaction_id', how='left')

3）、生成用户标示点击情况的标志位

#imp_goal['if_click'] = imp_goal['user_id_y'].apply(lambda x: 0 if pd.isnull(x) == True else 1)
imp_goal['if_click'] = imp_goal.apply(lambda x: 0 if pd.isnull(x['user_id_y']) == True else 1, axis=1)

4）、统计点击率

imp_goal[['if_click', 'test_case_x', 'log_date_x']].groupby(by=[pd.Grouper(key='log_date_x', freq='M'), 'test_case_x']).agg(['count','sum'])

tmp = imp_goal.groupby(imp_goal['test_case_x']).count()[['app_name_x','user_id_y']]
tmp['click_rate'] = tmp['user_id_y']/tmp['app_name_x']
tmp

5）、进行卡方检验

R中使用chisq.test来进行卡方检验

6）、算出每个测试用例的点击率

7）、生成每个测试用例的点击率时序图

5.5解决对策

5.6小结