火山引擎 DataTester 应用故事：一个A B测试，将产品DAU提升了数十万

疫情让线下的需求大量转移到线上，催生出了远程办公、网络授课、线上健身等新的生态现象。如何更好地为用户服务，提升用户体验，成为了诸多平台的一大课题。

今天的故事来自字节的一款 App，当它的发展进入成熟期后，通过A/B测试等精细化数据分析提升用户体验，实现DAU（日活跃用户数）增长数十万的故事。

在字节有一个专门保障用户使用性能体验的团队，他们在日常的数据观察中发现了一个现象：用户所使用的设备性能好坏，会影响到他们在产品使用中的活跃度。同时，他们在研究中发现，这些基础性能体验的提升，会延长不同细分领域的用户生命周期，最终提升短视频产品的大盘DAU。

为了进一步精确归因，这个团队使用专门为A/B实验打造的数据产品——DataTester，该产品是字节跳动内部应用多年的A/B实验平台，在2020年已通过火山引擎面向外部企业开放服务。他们通过 DataTester 查看已经获得正向收益的A/B实验，并对其中的每个性能指标和业务指标做线性分析，尝试寻找会对业务指标造成影响的性能指标。

数据显示，字节每日有3万余个A/B实验在同时运行，而每一次微小的产品改动，也都会经过A/B实验所得出的数据验证。可以说小到按钮颜色和位置，大到推荐算法策略和规则，在字节都经历过 DataTester 的A/B实验效果验证。

因此，该短视频产品也在 DataTester 中积累了大量的实验记录。当性能体验团队将 DataTester 中的历史实验进行归纳整理后，他们发现有几个性能指标和产品的业务指标具有高度的相关性——当用户在刷短视频的过程中，遭遇到较多流畅度、储存占用、网络速度等问题，会直接的降低用户使用短视频产品的活跃度，而这个问题在设备性能较低的用户群体中更为明显和集中。

定位到问题后，性能体验团队开始有针对性地开启了产品策略的优化。他们集中优化了设备性能较低的用户，在打开产品启动速度和视频加载流畅性方面——

• 启动速度：首刷视频加载时间过长；

• 流畅性：UI动画和视频加载卡顿。

他们设计了优化后的产品形态，核心是将页面展示简洁化，并再次通过DataTester投放A/B实验，用以验证效果。

配合产品页面展示简洁化，也同时减轻了一些特效、动效、快捷功能、附加组件等加载，综合性大幅提升了该短视频App的启动速度和视频播放的流畅度。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**