A/B test 的设计与分析（1）

背景介绍

A/B test是一种互联网常用的测试优化产品的方法。通过不断尝试改变产品的一些功能和特性，它可以帮助你判断哪些改变可以给用户行为带来显著的正影响，从而科学地决策如何优化你的网页或者APP。

• A/B testing is a general methodology used online when you want to test out a product or a feature. 互联网常用的测试产品的方法

• You are gonna take 2 sets of users. Show one set, your control set your existing product, then your new set, experiment, new version. 选取两组用户，一组为使用现有产品的控制组A，另一组为使用新产品的实验组B

• Analyze how did these users respond differently? In order to determine which version of your feature is better. 为了了解哪一个版本的产品更好，需要分析两组用户的行为差异

A/B test 有一定的适用范围

• 通常情况下，A/B test针对产品的新增功能，用户界面的新增内容，或者不同的网站外观界面等都十分有效。☑️

       案例. Amazon personalized recommendations. Saw a revenue increase via personalized rec. 例如亚马逊新增的个性化推荐功能，为企业带去了不俗的利润增长。

              Google tested 41 shades of blue in the UI. 谷歌在用户界面测试了41种蓝色，测试哪一种蓝色更受用户的喜爱。

              Less visible changes. LinkedIn tested a change — show news article or an encouragement to add new contacts. 领英测试了用户首页顶端内容从新闻变成联系人推荐，促进了用户活跃度。

• 但是！！！A/B test不能用来测试一个全新的功能。❌

         因为，你没有可以比较的用户行为基础。What is your baseline for comparison ?

                     你需要花多少时间让用户来习惯你的新功能。How much time you need in order to have your users to adapt to the new experience. 

                     以及A/B test不能告诉你在全新的功能里你缺少了什么。And it can’t tell you if you are missing something.

• 测试的时间也十分的重要

       要清楚地了解你所要优化的业务，用户行为反馈的时长是否合理。例如，当你需要优化一家房屋租赁网站的顾客回访率，A/B test 就不那么适用了。因为用户完成租房行为后通常至少半年才会回到租房平台，你无法确定这项业务需要花费的时间。A/B test 很重要的一点是时间要短，效率要高。

Quiz: when can you use A/B testing ?

1. 电商网站，我的网站设计是否完整 ？ ❌ 无法通过数据掌握用户的全部爱好，所以可以做一次用户调研作为信息补充
2. 增加会员服务功能 ？ ❌ 无法完全测试是否 premium service是一个好的决策，没有对照组可以对比。但是可以搜集数据，可以了解多少用户看见了这个功能，如果你给用户推送这个功能，多少人注册了会员
3. 视频网站，更换了新的推荐算法 ？ ☑️ 很好的例子，例如点击率，观看率 都可以作为参考指标 
4. 改变服务后台数据的加载速度 ？☑️ 是好例子 
5. 买车网站，提升客户复购率 ？ ❌ 时间太长 并且数据无法收集，类似于上面提到的租房网站的复购率优化
6. 改变公司品牌logo ❌ 已经超出收集数据的范围，涉及到品牌形象的传递
7. 改变主页的布局 ☑️ 好例子 

通常情况下，每个用户在使用网站和app时都会有行为记录，通过分析这些行为数据，你可以建立一些“到底是什么改变了用户的行为”的相关假设。在这个基础上，我们开始设计实验，随机抽取样本，实验，收集数据，来验证我们的假设是否成立。A/B test可以给你大量的数据信息，而其他的方法例如问卷调研，人为评估可以帮助我们更深度地理解用户的喜好以及行为变化的原因。但是！正如上文所说，如果你想要大幅度改变网站，或者用户与之交互的体验，A/B test 就无法提供有效信息了，因为缺少了与之对比的baseline。