火山引擎 DataTester：一个 A/B 测试，将一款游戏的核心收益提升了 8%

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

随着社会节奏及生活方式的改变，休闲游戏在移动游戏市场的占比逐渐升高，据伽马数据发布的《2022 年休闲游戏发展报告》显示，中国休闲游戏市场快速扩张，规模已从 2018 年的 210 亿元发展至 300 亿元以上，其中广告变现收入占比超过 75%。

休闲游戏"短平快"的玩法设计，使得广告收入成为其主要盈利模式。这类游戏通常选择在流量平台进行分发，前期获客阶段可以实现用户的快速增长，当用户达到一定规模后，可以应用平台提供的广告主资源，完成游戏的广告变现。

一款游戏产品就通过火山引擎 A/B 测试产品 DataTester，优化了游戏内“积分玩法”，既提升了用户的产品体验，又增加了游戏的盈利，使得该游戏产品核心收益整体提升超过 8%。

休闲游戏通常将用户留存和收入指标为核心指标。游戏策划通过对终极指标的拆解，会在不同环节定向关注“新增留存、新增付费率、付费渗透率、付费 ARPU”等游戏核心数值，并通过数据反馈，观察不同功能对游戏核心指标的正负向表现，有针对性地进行拉新、促活等运营手段。

基于此，相关游戏团队明确了核心游戏的玩法：

1.用户侧：玩家通过游戏对局、在线时长获得一定的平台积分奖励；

2.游戏侧：评估奖励成本，通过 ARPU 值量化平均每个用户贡献的业务收入，使得收入>成本。

A/B 实验能够在游戏产品的调优中发挥重要的作用。DataTester 可以持续帮助休闲游戏明确功能迭代的效果，观测游戏更新上线的影响，减少多个功能之间的交叉干扰；在当下激烈的市场竞争中，产品能够用相对较低的流量投入获得相对较高的营收，也是拉开休闲游戏差距的关键要素。

该游戏使用火山引擎 DataTester，在用户游戏积分获取环节通过 A/B 实验测试了多种积分的发放方式，希望找到在盈利方面投入产出比最高的积分玩法。

游戏团队使用 DataTester 提供的“多组择优报告”能力，通过实验数据输出，可以直接展示“某组方案成为最优组的概率”，帮助业务方正确量化决策收益，降低数据分析的成本，让游戏公司避免花费高人力、高时间成本去进行策略收益分析。

在本案例的四组方案中，通过 A/B 实验观测到“实验组 C”在用户留存、游戏盈利方面指标数据反馈更为优异，最终作为实验优胜组产品全量上线。据数据观测，“实验组 C”的策略上线后，该游戏的用户留存指标及营收指标都有显著提升，产品核心收益整体提升超过 8%。

DataTester 孵化于字节跳动多年的业务实践中，在字节内部服务了 500 多条业务线，累计实验总量超过了 150 万次，每天同时运行的实验数有 3 万余个， 而且这些数字还在继续飞速上涨 。

而今，DataTester 由火山引擎对外开放服务，目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业，支持了多种业务场景需求，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。