A/B测试助力游戏业务增长

最新推荐文章于 2024-11-03 10:21:12 发布

字节数据平台

最新推荐文章于 2024-11-03 10:21:12 发布

阅读量275

点赞数

本文链接：https://blog.csdn.net/m0_60025795/article/details/125377783

版权

游戏 ab测试

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

中国游戏行业发展现状及挑战

国内市场增长乏力

2021年游戏销售收入2965.13亿元，同比增长6.4%，增速相较于2020年减少近15%。游戏用户规模达6.66亿人，同比增长仅为0.22%。2021年游戏销售收入增长乏力，游戏人口红利趋于饱和，国内游戏市场整体正在从增量市场向存量市场转变。受未成年人保护法和国内游戏版号发行限制的影响，未来一段时间国内发展还会受限。

自研游戏出海势头强劲

2021 年，中国自主研发游戏海外市场实际销售收入达 180.13 亿美元（近1200亿人民币），比 2020 年增加了 25.63 亿美元，同比增长 16.59%。从近五年的平均增长幅度看，我国游戏出海份额呈现稳定上升的态势。中国自主研发移动游戏海外重点地区收入分布中，来自美国、日本、韩国收入占 32.58%，18.54%和 7.19%，共贡献了 58.31%的收入。

私域流量扰动行业格局

近年来，随着自媒体平台的快速发展，私域流量的积累为游戏的发行提供了新的投放基础。在精准营销技术的辅助下，自媒体平台的游戏投放取得了令人瞩目的效果。以青瓷游戏的《最强蜗牛》为例，《最强蜗牛》上线在抖音和西瓜视频两个平台，通过悬念预热、超级挑战赛、全民任务等新的互动方式，精准触达了目标用户，游戏上线后10天iOS流水超1.04亿，连续一个月居iOS游戏畅销榜前十名。

随着国内游戏用户数量趋于饱和，中国游戏产业也从高速成长期逐渐转型，市场成熟度提升，竞争趋于精细化。游戏企业买量成本高企，用户留存难，对精细化运营的要求也越来越高。叠加游戏出海以及私域流量运营的挑战，游戏企业对数据分析的使用需求和依赖度进一步提高。

快速试错，A/B测试助力打造爆款游戏

游戏行业发展至今，先后经历了主机游戏时代、网页游戏时代、移动游戏时代等多个阶段，如今移动游戏收入占国内游戏收入的7成以上，许多传统游戏公司正面临着转型压力。随着游戏技术的日趋成熟，大批新兴公司涌入该行业，进一步加剧了竞争压力。

游戏研发流程大致分为立项、验证、开发、测试、上线准备和运营六个阶段，每个阶段往往都伴随着许多修改。修改的效果如何？对于核心指标是否会有负面的影响？传统的思路，是将新特性上线后验证效果，但这也往往存在上线周期长，过分依赖经验，影响面广等问题。

A/B实验通过在线上流量中取出一小部分，完全随机地分给原策略A（对照组）和新策略B（实验组），再结合一定的统计方法，得到对于两种策略相对效果的准确估计。通过A/B实验可以对游戏新特性/修改进行科学的评估，利用线上小流量即可验证效果，并能够有效地衡量收益。

A/B实验，科学评估修改结果

当我们进行实验之前，实验者需要事先约定一个对显著性水平的预期，即限定"原假设正确但是被拒绝了"的概率上限为α，通常接受的犯此类错误的概率范围是0%～5%。在实验的统计计算中，我们用p-value来表征某个实验情景下犯这种错误的实际概率。只要p-value小于我们事先设定的α，实验即在显著性水平上达标。计算显著性水平是用来对抗抽样误差的方法，当我们实验在显著性水平上达标后，我们认为有95%以上的把握说明实验结果是可信的。这大大降低了，游戏修改上线对指标负面影响的可能。

《全民弹弹弹》是一款操作简单、极易上手的球跳塔类休闲游戏，玩家既可以让弹球一层一层地击穿彩色砖块，享受纯粹的弹射快感，也可以解锁更多未知的球球，体验合成的养成乐趣。游戏运营为验证游戏首页对玩家留存和广告数据的影响，对两个首页方案进行对比：跳塔页（对照组）、合成页面（实验组）

经过2周的实验测试，结果显示，首页为合成页面在3日、7日留存以及广告的效果等核心指标都优于对照组跳塔页方案。最终选择全量合成页面的方案，上线并取得了优异的效果。

除上述场景外，A/B实验还常常被用在以下修改的验证中新手引导改动，新手任务难度调整，初始资源调整等关卡难度、装备爆率、宝箱中奖率调整等影响游戏体验的的改动商城界面，积分系统，公告栏、banner、按钮、图标等功能性区域的改动匹配系统、好友系统、聊天系统等社交性功能改动游戏IP、NPC、游戏场景、剧情的改动实验分层，拓展线上流量

实验分层，拓展线上流量

小A要验证新的武器系统，需要50%的流量验证；小B修改商城界面，也需要50%的流量；小C对新手任务进行了完善，同样需要50%的流量验证。此时同时进行3个实验，需要150%的流量。线上流量不够用，只能对实验进行优先级排序，让几个实验先后进行，但这会导致效率低下。

通过A/B实验的流量分层技术，将总体流量复制“无数遍”，形成”无数个”流量层。流量层两两之间相互正交，再加之运行在相同层的实验流量互斥，从而保证同时运行多个实验不会互相干扰。

实验分层技术可以有效的解决线上流量不足的情况，尤其是在游戏内测阶段，这个阶段往往获取用户难度较大。需要通过发布内测任务，小规模买量等方式获得游戏玩家，流量获取成本高。而这个阶段既需要验证游戏的性能、兼容性，又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。如果内测时间过长，不仅需要持续的买量投入，也会导致游戏上线节奏被拖慢，甚至可能错过市场热点。

通过A/B实验流量分层技术，打破流量限制，大大缩短游戏验证时间，快速上线迭代。