关于AB测试那些事儿

嘉宾介绍

陈冠诚，Testin副总裁、Testin A/B测试业务负责人。师从欧洲科学院院士Per Stenstrom教授，发表过6篇大数据国际论文和8项国际专利，为美图、宜人财富等企业搭建了A/B测试驱动增长的数据体系。

在互联网下半场竞争中实现科学增长，切实让A/B测试发挥增长引擎的作用是应有之义。在本文中，陈冠诚将为我们分享A/B测试对业务转化率提升带来的价值，以及如何在团队中有效推进A/B测试及A/B测试系统科学设计实践等内容。

如果你有AB测试需求，欢迎尝试使用完全免费的智能优化&AB测试产品Testin云测AB测试 。

下面是文章正文。

今日头条增长秘籍：A/B测试驱动

抖音可以说是现在增长最火热的公司，流行于大街小巷行走的人们手机之中，它让腾讯感到深深的危机感，被迫应对，从2017年下半年开始，抖音就呈现出现象级爆发式增长。其母公司字节跳动，估值750亿美元，本身就是一个非常讲究实验、以A/B测试驱动科学增长的公司。A/B测试对头条系产品来讲是很自然的事情，整个公司从最高管理层张一鸣开始就非常注重。36Kr曾在一篇报道中写道，“头条发布一个新APP，其名字都必须打N个包放到各大应用市场进行多次A/B测试而决定，张一鸣告诉同事：哪怕你有99.9%的把握那是最好的一个名字，测一下又有神马关系呢？”

今日头条从起名字开始就运用了数据思维，创始团队没有头脑风暴，没有投票，没有老大拍板儿，而是采用科学实验的方式，通过数据观测确定了头条的名称。他们将App Store上各类免费榜单的前10名整理出来，然后根据名字归类（朗朗上口白话类，内涵情怀类，模拟特殊声音类，公司名+用途类等），分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。其次，分渠道A/B测试，确定先验效果类似的发布渠道，分别投放，界面功能logo完全一样，统计各个渠道的用户下载和活跃等核心数据指标，最后测得《今日头条》效果最好。

什么是A/B测试？

A/B 测试是一种产品优化的方法，为同一个优化目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，同时另一部分用户使用 B 方案，统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策。

上面图示就是一个典型的A/B测试范例。在A/B测试比较成熟的公司中，可能并不局限于只有A、B两个版本，可能会有ABC测试、ABCD测试，甚至是ABCDE测试。有一些情况，可能会出现比较特殊的A/B测试，比如说AAB测试，因为需要验证整个AB测试系统的准确度，需要设置两个对照组，所以叫AAB测试。不管同时运行几个实验，我们都可以将它们统称为A/B测试，英文为ABtest或ABtest。

结合公开数据和行业深度调查，我们整理了行业A/B测试频率概览图&#