A／B测试分析

在你的应用程序和服务中，你能用什么样的A／B测试来留住顾客呢？

如果你体验过Duolingo（多邻国），这个语言教育平台给你的感受可能是玩了一款游戏。来自游戏的设计模式正在有效地应用在Duolingo的平台中，有趣的游戏关卡设计让更多用户在快乐中坚持更久。

当然这不是巧合。Duolingo 早已敏锐地意识到了将教育游戏化的力量。增长副总裁Gina Gotthilf表示，无论发送给用户的是何信息——哪怕一个小红点——都会带来可贵的数据。团队要做的是对这些数据进行测试，内化每一个数字，然后根据测试结果指导自己的下一步动作。接下来将介绍了他们是如何通过A/B测试来培养用户的行为习惯的。

在此之前，先介绍一点背景：Duolingo以“为全世界提供免费的教育”为使命，其APP 可以免费下载。目前已包含25种语言，普通话也将列入其中，用户超过2亿，是下载最多的教育应用程序。目前它拥有数十亿的数据点（每个月大约会完成六十亿门课程），并且在不断迭代中。

激励用户的四种方式

对于Duolingo来说，最大的挑战是保持用户的动机。与其他应用一样，若想要鼓励用户并培养成一种固定行为模式，在他们身上，也就是每天完成语言课程。事实上，如果用户不能每天访问，那么他们的课程就是无效的。因为一个人学习课程本来会有些难度，况且在线学习总会带来用户分心。产品经理赞吉拉尼（Zan Gilani）介绍：MOOCs（大规模开放在线课程）具有非常低的完成率，大约仅1-2%。为了克服这些挑战，Duolingo以游戏的方式，从四个方式改变用户的日常习惯。

• 细化的目标
• 明显的进步
• 对用户的外部触发
• 让用户投钱

在Duolingo，“细化的目标”是融入在 APP 中的，用户通过完成一个课程单元来解锁下一个课程单元。比如，当“健身”被你设定为目标，这个目标非常模糊，但是让你每天跑一英里是一件很容易的事情，目标实现也变得可能。

让用户“连胜”

Duolingo将注意力集中在用户的持久性应用上。在此基础上，Duolingo设置了一个强大的游戏机制，使之与培养用户使用习惯的形成相吻合。Duolingo在Snapchat（知名强关系的社交APP）、Facebook和Headspace等提醒用户应用。当用户连续使用时，即在游戏中保持连胜的情况时进行奖励。

同时，Duolingo 鼓励用户设定每日目标，如此一定程度上能约束用户每天都登录 APP。对于新用户来说，连续登录意味着要有一个目标，于是团队在账户设置中增加了目标设定功能。直到今天，公司团队还在用这一指标还衡量工作成果。“这就好像电子游戏，用户必须每天都做点儿什么才能在排行榜上屹立不倒。”

为了让用户保证持续性，Gilani曾公开展示了一封由 Duolingo 总部发给用户的邮件，该邮件向用户解释了由于飓风欧玛（Hurricane Irma）造成的断网，并请求用户再次登录Duolingo，以保持活跃。

A/B测试1：让进程“可视化”

用户一般都希望看到自己的进程，而Duolingo应用中并不能看到用户所持续的天数。因此，团队在页面顶部加了这样的时间显示。结果很显著：日活增长3%，14日留存提升1%。

A/B测试2：给用户强调“连续”的重要性

接下来，当用户完成每次课程之后都强调一下用户的“连续值”，Duolingo用如下图的圆型展示了其课程进度。结果是日活增长1%，14日留存提升3%。

A/B测试3：外部的触发机制

诸如电子邮件和应用程序的通知方式，极易让用户感觉到骚扰，但“目标的达成”会让用户对外部触发不会那么反感。“回到Duolingo来吧，”这听起来太平淡、烦人了。Duolingo 在通知中会说： “记住，你已经坚持了24天”，而不是“打开我们的应用程序”。这种鼓励可以帮助用户维持自己的目标。”

这里值得一提的是，推送要注意时间和推送频率等等。时间抓得正确与否，直接关系到推送的成败。一天当中何时推送消息是有讲究的，这取决于你是哪种应用。”结果表明，当用户完成一门课程23.5小时后发送邮件，能够最大程度地刺激用户的参与度。这不足为奇，正如Zilani所说，每天都在同一个时间做相同地事情，是最有利于用户习惯养成的。

推送内容也需要不断测试。Duolingo的外部触发机制一些用语也格外有趣，如果用户被“通知”后仍旧没有任何登录操作，则会收到“消极-对抗的通知”（“passive-aggressive notification”）的信息，内容开头则是“这些提醒似乎不起作用……” 这种语气很好地符合了品牌的俏皮性质。

A/B测试4： “连胜”赌注的测试

Duolingo有内部的虚拟货币——lingot，用户完成课程可以获得，并可以用来购买增加网站某些功能的虚拟物品，比如访问特殊的语言课程——你想要学会用意大利语吗？——或者回答一个问题，了解你做的怎么样。

团队做了一项关于连胜赌注的项目测试，即用户可以打赌会连胜几场，并将lingots做为赌注，在最新版的应用中，这个功能浮出水面。

结果是14天用户留存增长5%，IAP (in-app purchase revenue)增长600%。

值得一提的是，Duolingo一直是免费使用的，用户支付主要为了APP的脱机使用（为保证连胜）以及免广告。

在这个测试中，Gilani说，团队曾经设置了为期两天的连胜的赌注，但发现结果该赌注对14天留存和日活的增幅最小，最终选择放弃。

A/B测试5：“薄弱环节”的改进

Duolingo发现，相比工作日，周末的用户活跃度会减少9%。每天坚持学习的用户如果一不小心错过了哪天的打卡，这让许多用户丢掉连胜的机会，从而让用户很丧气。

如果一个用户可以跳过一天，并保持他们的连胜呢？因此，团队尝试让用户可以在周五的时候购买“周末法宝”，它保证用户在周六日即使没有打卡，也不会妨碍学习进度。当然，用户为了这张“护身符”，需要支付20 lingots。事实证明，告诉用户“你不必在周末玩”对产品的应用有很大的影响：7日留存提升2.1%，14日留存增加4%。

A/B测试6： 丰富用户赢的渠道

保持用户参与度的，不只是连胜。Duolingo提供给用户代表成就的“徽章”。这是用户很难得到的权利，从第一版推出以来，最大的成就是一些新用户加入了Duolingo，然而这并没什么可喜可贺，因为DAU提升0%，D14 留存提升0%。经过反思，团队认为用户必须看到他们所取得的成就，而注册算不上一项成就，更不会让用户感到自豪。用户想要的，是收集勋章的过程。

在进行A/B测试时，其中重要的一点是：想要一个想法执行下去并带来较好的效果，你所认为的最简单的办法可能不是最简单的。在“最小化可行性产品”一词中，最小化虽然放在前面，但可行性才是核心所在。

在第二次测试中，团队设计了几款不同徽章，并设置了存放勋章的页面。徽章按照层级分布，比如用户获得完美的徽章，需要经过5-10个，甚至更多的深度测试等。经过团队努力，最终 DAU增长2%、14日留存增加2%，以及应用内购买增加5%。

最后团队进行了总结，开发有前景的功能，或者二次尝试（比如多邻国的勋章）时，试着把产品经理或团队经理和设计师配对起来，二者形成抗衡之势，从而维持团队的激情和执行力。如果测试失败，别忘了进行反思。

一个优秀的教育产品设计师能够让更多的人走得更远，学到更多的东西。一个成功的故事是一个名为埃迪尔森的哥伦比亚保安，他通过Duolingo学习语言，现在他已在安全学院有了一份教英语的工作 。

那么，在你的应用程序和服务中，你能用什么样的A／B测试来留住顾客呢？

 

文章翻译自：Six A/B tests used by Duolingo to tap into habit-forming behaviour​www.econsultancy.com，并结合互联网相关报道进行编译而成。