嘉宾介绍
陈冠诚,Testin副总裁、Testin A/B测试业务负责人。师从欧洲科学院院士Per Stenstrom教授,发表过6篇大数据国际论文和8项国际专利,为美图、宜人财富等企业搭建了A/B测试驱动增长的数据体系。
在互联网下半场竞争中实现科学增长,切实让A/B测试发挥增长引擎的作用是应有之义。在本文中,陈冠诚将为我们分享A/B测试对业务转化率提升带来的价值,以及如何在团队中有效推进A/B测试及A/B测试系统科学设计实践等内容。
如果你有AB测试需求,欢迎尝试使用完全免费的智能优化&AB测试产品Testin云测AB测试 。
下面是文章正文。
今日头条增长秘籍:A/B测试驱动
抖音可以说是现在增长最火热的公司,流行于大街小巷行走的人们手机之中,它让腾讯感到深深的危机感,被迫应对,从2017年下半年开始,抖音就呈现出现象级爆发式增长。其母公司字节跳动,估值750亿美元,本身就是一个非常讲究实验、以A/B测试驱动科学增长的公司。A/B测试对头条系产品来讲是很自然的事情,整个公司从最高管理层张一鸣开始就非常注重。36Kr曾在一篇报道中写道,“头条发布一个新APP,其名字都必须打N个包放到各大应用市场进行多次A/B测试而决定,张一鸣告诉同事:哪怕你有99.9%的把握那是最好的一个名字,测一下又有神马关系呢?”
今日头条从起名字开始就运用了数据思维,创始团队没有头脑风暴,没有投票,没有老大拍板儿,而是采用科学实验的方式,通过数据观测确定了头条的名称。他们将App Store上各类免费榜单的前10名整理出来,然后根据名字归类(朗朗上口白话类,内涵情怀类,模拟特殊声音类,公司名+用途类等),分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。其次,分渠道A/B测试,确定先验效果类似的发布渠道,分别投放,界面功能logo完全一样,统计各个渠道的用户下载和活跃等核心数据指标,最后测得《今日头条》效果最好。
什么是A/B测试?
A/B 测试是一种产品优化的方法,为同一个优化目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,同时另一部分用户使用 B 方案,统计并对比不同方案的转化率、点击量、留存率等指标,以判断不同方案的优劣并进行决策。
上面图示就是一个典型的A/B测试范例。在A/B测试比较成熟的公司中,可能并不局限于只有A、B两个版本,可能会有ABC测试、ABCD测试,甚至是ABCDE测试。有一些情况,可能会出现比较特殊的A/B测试,比如说AAB测试,因为需要验证整个AB测试系统的准确度,需要设置两个对照组,所以叫AAB测试。不管同时运行几个实验,我们都可以将它们统称为A/B测试,英文为ABtest或ABtest。
结合公开数据和行业深度调查,我们整理了行业A/B测试频率概览图&#