火山引擎 DataTester：在广告投放场景下的 A/B 实验实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

“我知道在广告上的投资有一半是无用的，但问题是我不知道是哪一半。”

——零售大亨约翰·沃纳梅克

这句经典名言，被称为广告界的哥特巴赫猜想，它道出了广告效果衡量的难点，同样也击中了无数广告主的痛点——企业有一半广告费都是被浪费掉的。

广告投放的效果很多时候常与玄学画上等号，但却也是公域营销不可或缺的一环。科学的衡量广告的效果，适时做出策略调整优化转化率，一直既是业界的重点、热点、难点。

如何让企业在广告投放上的每 1 块钱都花在刀刃上？火山引擎 DataTester 或许可以交出一份高分答卷。

DataTester 是字节跳动内部应用多年的 A/B 实验平台，2020 年通过火山引擎面向外部企业开放服务。平台自建立至今，承载了字节 500 余个业务线的 A/B 实验任务，累计已开展过 150 多万次实验。

广告实验是 DataTester 的一大特色能力之一。DataTester 基于自身在因果推断和统计科学方面的深刻积淀，结合字节内部用户增长以及广告算法建设的诸多实践，探索出了很多行之有效的广告效果衡量方法和提升策略。

本文将分享 DataTester 在广告投放场景下的实践经验。

为什么 A/B 实验能提升广告投放效率？

在互联网时代，企业该如何做好广告营销，持续驱动盈利增长呢？

从对字节跳动多年的业务总结来看，实践给出的方法论指向是：50%靠创意，50%靠营销科学。

在广告投放的场景下，一线广告优化师通常会创建多个计划，去测试不同的广告素材效果。这套方法看似科学，实际上却问题多多：

• 广告计划过量，会对流量造成相互挤压争抢，流量无法平均分配，就难以获取科学的效果对比数据；

• 广告受众没有实现隔离，如果同一用户可以看到多组广告，则测试结果无法保证科学性；

• 广告计划过多，会抢占宝贵的营销经费配额，并浪费广告优化师大量人力。

这些问题导致广告投放时，企业浪费了大量的时间精力和金钱，也未必能得到科学量化的的有效结论。

图源：视觉中国

而通过科学的 A/B 实验，可以确保在广告投放中，实现精准的流量分配、受众隔离，获取最为科学的数据统计结果；与此同时，在多个广告计划创建的过程中，性能优越的 A/B 实验平台可支持方案的智能化设置，节约大量人力。

• 广告方案设计：可根据 A/B 实验的效果选出最佳方案；

• 广告效果验证：通过 A/B 实验可以达成“快准稳”的效果检测，让大胆创新、快速试错成为可能；

• 广告问题定位：通过 A/B 实验可以快速定位投放效果不佳的问题原因，避免低效而昂贵的错误迭代。

总结来说，科学的 AB 实验平台，能够确保广告在方案设计、人群选择、渠道定位等每个决策环节，都能获得正向的收益，从而在广告投放时，产生正向反馈越滚越大的复利效应。

字节跳动的广告优化经验分享

字节跳动副总裁、算法和数据技术负责人杨震原曾在火山引擎 A/B 测试开放日中讲述过，“字节跳动成立之初，今日头条就在做策略推荐类的 A/B 测试。2016 年正式建立了支持大规模产品试验的 A/B 测试平台（DataTester），之后陆续接入抖音、西瓜视频等全线业务，把 A/B 测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。”

字节是一家有着深厚 A/B 实验基因的公司，广告实验是 DataTester 全域营销场景下的重要一环。

针对企业在营销场景上的诸多痛点，如人工实验操作繁琐，广告效果难度量、优化无从下手；效果数据来源分散，人工分析费时费力；投放严重依靠人工经验，一线优化师彻夜盯盘、精疲力尽...等等问题，DataTester 提供了全套的广告优化解决方案：

• 实验智能化调优：基于业界一流统计学专家的算法模型，依照广告效果动态分配流量，实现收益最大化；

• 打通前后链路数据：支持主流广告渠道的监测能力，实现了后链路数据的打通，助力更科学的效果归因；

• 打通人群数据：支持与 CDP 人群管理平台深度打通，广告可实现基于用户标签和人群画像的精准投放；

• 跨渠道广告投放能力：集成包括巨量引擎在内的主流广告投放平台，实现一站式广告素材创意管理、批量广告创建投放、多渠道广告效果监测；

• 集成建站平台：与多个建站工具深度合作，打造广告落地页搭建和 A/B 实验创建的无缝体验，大幅降低实验门槛。

点击查看大图：DataTester 全域营销场景解决方案

针对具体不同的场景，DataTester 提供了拆分对比实验、落地页优化实验等多种实验类型，方便用户更加便捷地基于实验进行迭代：

• 素材拆分对比实验：判别更有爆款潜力的广告素材

• 人群拆分对比实验：判别与产品广告更匹配的人群

• 增效度量实验：通过人群分流+问卷投放两种形式结合，评估品宣效果

• H5 落地页优化实验：判别营销页面转化效率

DataTester 广告实验的几种细分类型

DataTester 广告实验的特色优势

基于 10 年的技术经验打磨，DataTester A/B 实验平台已经做得极为易用，广告投放实验支持通过可视化的手动拖拽等形式，自主编辑实验版本，并获取数据报告。

没有研发团队的企业，以及没有代码经验的广告分析师，也可以快速上手使用。

广告实验作为 DataTester 在全域营销场景的重要解决方案之一，也打磨出了一些独具优势的核心能力。

爆款广告智能创作能力

“爆款素材稀缺”、“起量难”是广告主最常见的痛点。作为信息流广告的核心——素材的优质程度，是决定广告能否起量的关键。

近年来创意素材的生产数量爆发性增长，在巨量引擎平台中，每天新增的视频广告创意素材有 70 万条，还不包含平台上的存量素材数量。

DataTester 与火山引擎的智能创作云合作打通，可提供 10 余款简单易用的创作工具，无需人工剪辑，智能批量化生成各类具有“爆款基因”的广告素材。用户不需要有各类专业软件的使用能力，即可创建广告素材并开启 A/B 实验。

分流技术深度融合广告算法

随着数据驱动科学增长的理念在国内渐火，市面上声称能“帮助广告主对广告投放进行算法优化”的三方服务商越来越多，其中不乏声称能够进行 A/B 实验的厂商。

然而，基于 A/B 实验的基本原理，真正科学可信的 A/B 实验离不开对流量的精准控制和科学分流。但当今主流大型广告平台，由于在广告推荐算法中嵌入实验分流的技术复杂性，很少能够做到向三方提供完备的分流能力。

因此，市面上多数三方服务商提供的所谓广告投放 A/B 实验能力，更可能是徒有其表，噱头成分偏多，其数据偏差之大并不足以支撑得出可信的实验结论。

如图为极度简化版的广告平台分发流程，大型广告平台的实际流程会复杂得多。

火山引擎 DataTester 基于字节跳动在抖音、今日头条等信息流产品中的多年实践经验，探索出了很多行之有效的广告效果科学度量和提升策略，可以完成面向大规模人群的精准分流。

• 人群隔离：DataTester 可确保实验中的不同实验对象不会展示给同一用户，一个用户最多只能看到实验中的一个计划广告方案；

• 竞争公平：DataTester 可为多种广告计划提供公平的竞争环境，避免实验中计划相互挤压、抢量，让每一个广告方案都获得同等量级的曝光机会；

• 报告置信：在收集到充足的实验数据之后，DataTester 将智能化生成分析报告，并确保数据具有统计效力，以精确披露在实验中获胜的广告计划或素材。

广告页搭建可无缝衔接 A/B 实验

广告网站或落地页转化率，是会因为页面上元素的细微差别，而产生巨大差距的。例如按钮位置的交换、颜色的改变、顺序的调整等，均能造成转化率的增长或降低。此时，A/B 实验就是验证最优版本的科学工具。

DataTester 已与橙子建站等多个广告落地页建站平台深度合作，在企业完成广告落地页搭建后，即可无缝开启 A/B 实验，大幅降低实验创建门槛。

实验智能流量调优能力

开启实验前，哪一个版本的方案表现更好通常未知。传统的 A/B 实验平台，依赖于统计显著性的经典假设检验，为对照版本和实验版本分配等额流量，一般不允许在实验期间变更每个子版本的流量。

因此此类实验缺陷比较明显 —— 即便已发现实验版本明显优于对照版本，实验期间还需要在对照版本上继续花费时间流量，直至整场实验结束。

而 DataTester 除去提供上述“常规实验”能力外，也同时可提供“MAB 实验”实验类型选择。

“MAB 实验”是智能调优实验，实验方案可以直接在线上进行，DataTester 将根据实时数据反馈，智能调节实验方案的流量分配，给广告收益效果好的方案倾斜更多的流量，帮助企业收益最大化。

与传统的 A/B 实验相比，以下几种场景适用 MAB 智能流量调优实验：

• 促销优惠：此类场景更关注提高转化率。MAB 智能实验在促销期间，会将更多流量发送给效果较好的变体，而将较少流量发送给效果欠佳的变体，帮助企业尽快拿到收益点；

• 推送策略：推送文案/标题为生命周期较为短暂的内容。固定的活动期间后，会失去相关性。因此采用 MAB 智能实验，可以使策略最大程度地尽快发挥效用；

• 落地页优化：同时上线几种不同版本的落地页方案，实时优化落地页的点击和转化率。

结语

DataTester 融合了字节跳动了多年在业务增长、转化、产品迭代，策略优化，运营提效等环节的增长理念，是一款性能强大、使用便捷的 A/B 实验产品。

在广告投放场景上，DataTester 基于多年的打磨和迭代，可支持广告从制作到投放，到最终效果收集的全链路场景实验需求，并能够与字节系产品及平台深度打通、相互结合应用。

此外，DataTester 也能够深度耦合推荐、搜索、UI、产品功能等其他多种业务场景需求，为业务提供科学的决策依据。目前，火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 经验赋能给各行业。