【Daticist】|（三）知识碎片之A/B测试

参考资料：

http://www.woshipm.com/pmd/381358.html

https://blog.csdn.net/zzq900503/article/details/70991497

http://www.91yunying.com/48988.html

一、产品优化的目标——业务增长

增长指标

• PV(page view，页面浏览量)/UV(unique visitor网站独立访客)/IP(InternetProtocol互联网协议地址)
• 访问时长/停留时长/使用时长
• GMV(Gross Merchandise Volume成交总额)/LTV(life time value生命周期总价值)/客单价(per customer transaction平均交易金额)
• 分享/点赞/转发

增长途径

• AARRR模型

通过产品、数据、市场的数据分析，通过快速实验和迭代产品，来找到产品对用户最大的价值在哪里，怎样在用户进入产品之后的每一个环节获得增长。这种方式一共包括了5个环节，就是AARRR。

acquisition获得了用户。

用户来了之后， 一个很重要的环节是激活：activation， 就是我们可能从渠道买来的流量（但是并不是所有的用户都会激活它，可能只是因为你送了一个什么券，或者广告很吸引人，他来了；或者它是一个预装的软件）。但是他并不会真的变成你的一个用户。变成用户激活很重要。

然后接下来，激活的一部分用户会留存下来：Retention。意思是他会长期使用你的产品， 这样就可以Revenue了。有一部分甚至会帮你去refer，帮助你去做口碑营销， 好找更多的人进来，让更多的人使用你的产品。

所以这个激活、留存、口碑营销都是非常重要的，任何一个环节都会带来整体的增长。

那么最后当然是最后一步转化，活跃用户当中的一部分会为你贡献收入，无论是通过点击广告， 还是付费购买，以及采购商品，他都会给你带来收入。

• 模型改进——转化率优化

最大化优化平台收入，最大化优化业务目标，比如让用户更多的下单，或者让用户更多的购买，这可能是平台的目标，但是实际上能够产生这个效益来说，要产生的最核心的反而是是从平台的用户考虑问题，怎么能够提升他们的用户体验。

那么回到AARRR这个模型我们就可以看到转化率包括了哪些。最简单的是一开始。比如说网站，或者是APP，一开始是访客，然后呢是留存，他不离开，然后呢他可能是a-ha moment，进来之后他的第一次访问，觉得你的产品很棒，完全达到了甚至超越了他的需求，那么他可能就会形成进一步的转化。然后会有注册这样一个过程，最后可以形成一个有效的账号。然后，在留存这个环节，就可能出现用户用他这个账号更多的打开你给他发的通知，然后重新回到平台上，然后在你这个产品里面做更多的访问，然后，那么更加酷的一个环节是转化可能会更低，但是效果会更好的一个环节就是这个口碑营销，他们会去宣传，“诶，你产品很棒，体验很好，我希望拉更多的人进来”那么这就是所谓的refer。到最后，revenue，可能转化率更低，但是它的意义就会更大，它会点击广告，它会产生购买，会成为你的收入的主要来源。

大家可以看到这张表的一个例子就说明了：转化的越深，用户的行为对我们的价值就越高。我们看到最后可能就是购买更高价值的商品之后它可能对我们的价值是最高的，是25块钱，这样一个行动。但是要产生这样一个行动，他要经过前面的层层的环节，每一层环节转化率的提高都会对最后一个环节产生巨大的影响。这就是我们的AARRR模型的意义，让我们知道在哪些环节上可以去优化，可以去增长，他最终产生最后的效果。

二、优化的利器：AB测试

• 定义

A/B测试是一种流行的网页优化方法，可以用于增加转化率注册率等网页指标。简单来说，就是为同一个目标制定两个方案（比如两个页面），将产品的用户流量分割成 A/B 两组，一组试验组，一组对照组，两组用户特点类似，并且同时运行。试验运行一段时间后分别统计两组用户的表现，再将数据结果进行对比，就可以科学的帮助决策。比如在这个例子里，50%用户看到 A 版本页面，50%用户看到 B 版本页面，结果 A 版本用户转化率 23%，高于 B 版本的 11%，在试验流量足够大的情况下，我们就可以判定 A 版本胜出，然后将 A 版本页面推送给所有的用户。

• 特点

先验性

如果我们每次改版每次迭代的是都没有经过AB测试就直接上线了，那会发生什么事情呢，那么可能一个不太成功的改版不太成功的策略被上线之后就直接带来了损失，比如说降低了20%的用户下单量，那么如果真的发生了这样的事情的话，我们后验的话就产生了不可弥补的损失，但如果我们做AB测试我们可以怎么样呢，我只采样一部分的用户，比如1%的用户来做这个实验。

举例来说，我们遇到过一个旅游类的产品，它在他的注册环节做了一个小小的改版，这个改版也经过一些测试，但是他没有想到的是对失眠上的某些安卓手机 会有一些不过注册流程上会有问题，那么他每天会花10玩块钱去采购流量，会吸引一万个用户来注册，结果因为这个bug的原因，有40%的用户想注册而注册不了而流失掉了，意思就是这10万块钱里面就有4万块钱浪费掉了，但是他的这个心的改版通过我们AB测试来验证一下，用1%的流量来验证一下， 虽然也有40%的损失，但是它是1%的40%，换句话说他不是损失4万块钱，而是损失400块钱，这就是先验性的意义所在。

并行性

也就是说我们真正AB测试也好，产品优化也好，真正的使用场景并不是说我现在有一个迭代方案，然后去先验证一下然后决定是不是上线，不是这样的。显示当中你要做到优化，你必须，就是我们刚才说到的优化问题，解的空间是无限的，我不能一个个点着找，我必须同时找10个点，20个点，100个点，我要同时上线很多很多可能的方案，然后对它进行测试并行，而不是说上一个，不行再上一个，那样的话我一个月只能去验证2、3个idea。但是如果有了并行性，AB测试同时上线，1%的用户尝试这个方案，1%的用户尝试另一个方案，你就可以同时检验20个方案，100个方案，1000个方案都是有可能的。

科学性

是只改变一个条件的单盲试验，如果你的AB测试的试验则和对照组并不只是改变了一个条件， 这个条件就是你想做的试验，你想迭代改版的东西。如果不是这样，比如说实验组的用户和对照组的用户还有一个另外的区别， 比如说我们刚才实验组里有王思聪，或者实验组用户享受了一些促销和优惠，对照组没有， 那么你的实验结果就不科学不可信，它对你没有帮助，那么这样说AB测试索要解决的问题，这也是AB测试的价值所在。

• 应用场景

元素/控件层面
功能层面
产品层面：小到产品UI的配色，产品功能，用户体验流程，细节到方方面面的文案，怎样激发用户的使用，UI上的布局，大到技术层面的推荐算法，排除算法，后端系统架构，这些都会影响到转化率。
公司层面

• 国际顶尖增长黑客的方法

Airbnb

他们是对AB测试实践非常非常精细的一个公司，它从第一天开始，所有的重要页面，关系到转化率的。比如说注册页面，注册页面转化率很重要喔，通过AB测试的方法来迭代，怎么做呢 ，它的每一个改版，每一个调优都首先灰度发布到1%的用户，比较大的可以先发布到5%的用户，去看看数据，用户的下单，用户的留存，用户的注册率转化率，根据这个来决定是上线还是打回重做，它就保证了Airbnb总是在不停的增长，不停的优化。

Google

是最早实现这件事情的公司，现在每个月可能都会跑几百个实验，AB测试，从中找到实解，当然主要是搜索结果和广告的点击率，这是特别重要的一件事情，通过这样的事情呢，google实现了每个月增长2%，不要小看这个数字，实际上google通过这样每年可以达到20%增长率，它就可以一直超过华尔街对它的期待，那么它的股价就可以不断的攀升，不要小看了这个数字。开个玩笑话，微软，苹果并不能使用大规模AB测试这样一个黑科技来做迭代，为什么呢，微软它的一个重要产品，比如说Xbox，它想Xbox的配置做一个AB测试时不现实的，苹果的iphone也没有办法真的去做AB测试，它就没有办法保证每个产品电脑推出迭代都可以优化，一旦它这个季度没有实现优化，没有实现增长，它的股价就会暴跌，微软和苹果都曾经出现股价腰斩的情况，但是google从来没有出现过，

Facebook

在移动端每次的升级改版它都会把未来6个月要做的各种改版，全部都灰度的发布给用户，用你1%的用户试试这个改动，用1%的用户试试那个改动，只有对它转化率提升的，它才会发布出去，那些不好的就不会去发布。

知乎等

其实国内也有一些企业在践行这样的实验，比如百度的搜索，大众点评的推荐系统，还有知乎的运营，知乎我就说个例子，知乎他们通过数据发现如果一个用户在知乎上回答了超过3个问题，他就会比没有回到够3个问题的活跃度高一倍以上，它就会觉得一个用户回答3个问题很重要，那怎么办呢， 它就用AB测试，筛选了一部分新用户把它拆成试验组合对照组，对实验组的新用户就会用他的运营人员，比如说是男性用户，就会伪装成美女去邀请你去回答三个问题，邀请你回答一个问题，回答了，再邀请你回答，再邀请你回答，等你回答了3个问题她就不邀请你了。然后呢，他就会AB测试对比，用了这个策略的新用户和没有用这个策略的新用户哪个更活跃。实验结果非常好， 用了这个方案能够带来转化率的增长，能够提升，所以它就发布给所有用户。如果你是新注册的知乎用户，你相信我，你一定会被邀请回答3个问题。

• 高效AB测试七条黑客经验

接下来，因为AB测试这件事情很复杂，所以我们在这里不可能展开说的特别细，但是有一些经验确实非常通用的，这个我们在其他场合也分享过，但在这里大家还是可以去再次感受一下，了解一下高效AB测试七条黑客经验，

• 效果惊人：你产品的一些微小的改动，有可能就造成对KPI的巨大影响。有的时候一个颜色的变化就有可能带来100%的分享率的提高，都是有可能的。像我们自己的客户，在他们自己的教育类网站，他们注册改了一个文案，就提升30%的学生注册率。
• 耐心测试：但是大多数会的改动并不会大幅度提高KPI，就像你做100个实验可能6、70个都没有什么用，这是非常可能的。
• Twyman法则：而且对于这件事情还有一个twyman提出的法则，跟墨菲定律一下很搞笑，说的是凡是看上去很出人意料的图表，通常都是因为数据统计错了，
• 你很不同：另外产品之间往往可以参照的东西不多，你去复杂他人的经验往往没有用。开玩笑说如果京东把亚马逊的一些策略拿过来，说不定有点用，但可能不好，如果抄淘宝的，可能会是灾难性的后果。
• 速度是关键：但是任何能够加速用户响应时间的改动，都会给KPI带来提升，一定要记住了如果你的技术团队有能力让你的Html5页面变得更快，或者让你的网站打开的更快，或者APP响应的更快，就让他们全力以赴去做，给他们无限的支持，因为这一定会给你带来正面的提升。
• 关注产品的质量：你想要在一个环节中提升点击率其实不难，就像我说的点进来是大奖，或者你在推送消息的时候说您有一个大礼包待领取，或者您有一个奖待领取，这种方法往往能产生一个很好的点击率。或者你在电商平台，你的展示方式是一个大美女，那么一定往往能提升你的点击率，但是这件事情对你的产品并没有什么本质的帮助，他们不会有实质性的帮助，更重的是你要考虑的是真正核心的用户转化率在哪里。我们有个定义叫Core Action，就是你的用户到底什么样一个行动，这件事情的转化率最重要，你要搞明白。对Facebook来说他的转化率最重要就是他去发布了一个行动，或者是加了一个好友，这件事情可能特别特别重要。对google来说可能最重要的转化率是用户点击搜索结果这件事情很重要。对Uber来说，可能用户召唤一个行程可能特别重要，一定要关注在这个产品质量上面。
• 快速轻量迭代：另外在做迭代的时候一定要做一些轻量的，做一些小的改动，做一些小的实验，千万不要去做大实验，因为这种东西往往是弊大于利的。你做一个大的改动，最糟糕的情况是你把用户群都变了，原来很喜欢的用户他走了，多糟糕啊，来了一些新用户你指望他们重新填充你的retention留存率是挺难的一件事情。另外你一个大的改动，你很多地方都改了，那么你的实验结果也没有办法归一，没有办法去帮助你去积累经验。你确实在优化的解空间当中的一个点跳到了好远好远地方的另一个点，那么中间这些点会有什么变化你一无所知。但是你用轻量迭代就能帮助你去积累更好的经验了。
• 用户数量是基础：最后，用户数量也是个问题，如果你只有100个用户，可能AB测试并不是一个适合的黑科技对于你来说，你可能需要更多的是用户调研，用户分析。只有当你有了1000个日活的时候，可能AB测试这种迭代的方法才有效，否则你的实验结果是不准确的。开玩笑说，如果你只有两个用户，一个人说你好一个人说你不好，那么你信谁呢，那么AB测试对你是没有用的。