ABtest

                                           ABtest

ABtest一个总的目的和意图是,判断哪种种UI或rerank策略更优,通过事实的依据( CTR或下单率)判断哪种策略更符合用户的习惯和需求。

一、需求驱使 

我们经常会面临多个设计方案的选择,比如app或pc端某个界面的某个按钮是用红色还是用蓝色,是放左边还是放右边。传统的解决方法通常是集体讨论表决,或者由某位专

家或领导或文青来拍板,实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的,但A/B 测试(A/B Testing)可能是解决这类问题的一个更好的方法。

所谓 A/B 测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,看哪个方案更符

合设计目标。

下面看一个例子:

在展示“格林秀上午酒店”这个poi时有客户端两种UI:

方案A:如左图,评分展示星状图片,消费人数再右边; 

方案B:如右图,只展示评分分数,后边添加消费人数;

 

       我们很难知道那种方案比较好,那我们可以做个实验,把a和B方案同时放到线上的生产环境,让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用报表如下图,通过大自然的优胜劣汰法则,我们可以通过CTR或下单率等指标看哪个方案更符合设计目标。

A / B测试,即有两个即将面对大众的设计版本(A和B)。通过小范围发布,得到并比较这两个版本之间你所关心的数据(转化率,业绩,跳出率等),最后选择效果最好的版本。

对于互联网产品来说,通过A/B测试提升点击转化率,优化获客成本已得到越来越多的关注。以获客环节为例:许多产品都会在百度、头条等渠道投放落地页广告,以完成新用户的注册转化,而落地页效果的好坏,会直接影响转化率和获客成本。

以每月200万投放费用为例,如果通过A/B测试将落地页的注册转化率有效提升20%,相当于每月能多获得价值40万推广成本的新用户。

二、系统模型

abtest实验可以分成两种,客户端client实验和服务端server实验,客户端实验一般来说只是UI上的实验,比如上面的例子,纯粹是展示端的策略;而服务端的实验是返回给client数据的内容做实验,比如推荐的策略,订单列表rerank策略等。

三、A / B测试流程

运行A / B测试实验的正确方法是遵循科学过程。它包括以下步骤:

> 研究您的网站数据:使用Google Analytics(分析)、百度分析等网站分析工具,并在转化渠道中找到问题。例如,您可以识别跳出率最高的页面。假设您的主页的跳出率非常高。

> 观察用户行为:利用访客行为分析工具,如Heatmaps,Visitor Recordings,Form Analysis和On-page Surveys,并查找阻止访问者转换的内容。例如,“CTA按钮在主页上不突出”。

> 构建假设:根据访问者行为分析工具的见解,构建旨在提高转化率的假设。例如,“增加CTA按钮的大小将使其更加突出,并将增加转化。”

> 测试您的假设:根据您的假设创建一个变体,并且A / B对原始页面进行测试。例如,“A / B测试您的原始主页针对具有较大CTA按钮的版本”。根据每月访客数量,当前转化率和转化率的预期变化计算测试持续时间。(在这里使用我们的贝叶斯计算器)

> 分析测试数据和绘制结论:分析A / B测试结果,并查看哪些变化带来了最高的转化。如果变化中有明确的赢家,请继续执行。如果测试仍然不确定,请返回到第三步并重新设计您的假设。

> 向所有相关方报告结果:让营销,IT和UI / UX中的其他人了解测试结果和生成的见解。

 

 

 

【转载】:https://blog.csdn.net/weiguang_123/article/details/49203239

  参考: http://www.sohu.com/a/249948452_278472

              https://segmentfault.com/a/1190000012377139

              https://blog.csdn.net/zzq900503/article/details/70991497

                  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值