火山引擎 DataTester：A/B 实验如何应用在抖音的产品优化流程中？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

日前，在 WOT 全球创新技术大会上，火山引擎 DataTester 技术负责人韩云飞做了关于字节跳动 A/B 测试实践分享。DataTester 是字节跳动内部应用多年的 A/B 实验平台，至今已承载了字节内部 500 余条业务线的 A/B 实验任务，累计开展的实验多达 150 万次。

字节跳动内部有着非常浓厚的数据文化和实验文化。抖音、今日头条的名字都经由 A/B 测试确定，而 A/B 测试也被作为基础环节，嵌入在了字节内部产品研发的链路中。

通常来说，一个产品新功能的研发流程如下所示：

而字节内部的产品新功能研发流程则会在常规的基础研发流程中，额外嵌入两个环节：埋点设计与 A/B 实验方案设计。

A/B 实验在字节，就像研发敲代码、产品写需求文档一样，是产品从构思、设计到上线全流程中不可或缺的一环。

举个例子，假如抖音团队希望提升产品的用户活跃度，计划通过给产品增加一个“熟人 Tab”的方式进行，那么整个的产品优化改动流程是什么样子的呢？

首先，从产品经理做 PRD 方案的时候开始，就会提供不止一种产品方案，包括用户路径方案、按钮位置方案等，不同的方案对于用户在抖音上的使用及留存数据，影响一定是不同的。多种方案的数据效果，将通过 A/B 测试进行量化。

下方的页面样式，就是“熟人 Tab”放置的 3 种不同方案示例：

V0 组：不设置“熟人 Tab”，不出现“熟人关注内容”，不出现熟人投稿后展示

V1 组：设置“熟人 Tab”，出现“熟人关注内容”，熟人投稿后展示在“关注 Tab”页

V2 组：设置“熟人 Tab”，不出现“熟人关注内容”，熟人投稿后展示在“熟人 Tab”页

上述 3 组方案即为在 DataTester 中开启实验的 A/B 实验组。

由于抖音的用户体量大，如果草率的决定某个产品设置可能会对整个生态有很大的影响，因此会首先开启小规模、小流量的多重 A/B 实验。A/B 实验的目的，一方面要验证这个功能是否能有效达成初始设计目标，另一方面也要验证新功能是否对抖音大盘核心数据有正向影响，如是否能长期提升用户活跃度以及投稿的意愿等。

在上述提到的例子中，DataTester 的实验结果显示 V2 组试验指标各项均更为优秀，说明新增“熟人 Tab”对比其他方案而言能对抖音价值有更为明显的提升，那么后续在产品迭代中，会考虑全量上线这个产品优化策略。

DataTester 而今也通过火山引擎对外开放服务，截止目前，已服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业，为业务的提效、增长、产品迭代、运营活动等各个环节提供了科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。