更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群


量化决策，正成为企业在数智化浪潮中掌握方向的必备之舵。


通过“拍脑袋”式的经验决策，企业往往难以优选出带来更高收益的策略。相比之下，通过数据分析带来的量化决策则是一种更为可靠的方式。作为量化决策的关键工具，A/B实验能够通过科学的实验链路，对特定策略进行效应评估，从而支持企业在业务场景中实现高效归因与精准决策，用数据找到推陈出新的最优解。


在字节跳动浓厚的A/B实验文化下，火山引擎数智平台旗下的A/B测试DataTester目前已覆盖字节内部500多个业务，平台上共有超240万个实验，其中同时运行的实验超5万个，从实践中沉淀了一站式实验管理与场景化特型实验等全方位实验能力。


业务场景复杂化、多元化的趋势，打破了沿用传统假设检验框架的惯性。边际收益、干涉效应、自动实验配置以及随机实验盲区等一系列伴生于业务快速发展的新挑战，促使DataTester迈向超越传统假设、拓展边界的创新之路。


在边际收益方面，DataTester技术团队通过提升敏感度指标，推出增强版CUPED方法，从而对上新策略的真实效应进行准确度量。在相同样本量下，可准确度量出较之原来小20%的真实效应度，为业务提供更精确的助力。


为应对干涉效应挑战，DataTester技术团队基于并行化的Leiden算法，快速处理亿级用户的复杂社交网络，完成基于社交圈的聚类分流。此外，团队对传统A/B实验数据进行了统计修正和调整，基于马尔科夫过程和强化学习，解决了市场双边关系和间接干涉场景问题。自动实验配置方面，实验平台则加入了迁移学习的贝叶斯黑盒调参。


在应对策略分配不均等随机试验盲区问题时，实验平台采用观察因果推断作为传统 A/B 测试的替代工具。相较于后者，因果推断通常为全量采样，数据采集成本更低，但后续的分析、解读和沟通成本却更高。有鉴于此，DataTester技术团队优化了观察因果推断过程，着力于提升稳健性与降低风险，为用户提供尽可能自动化的、支持观察因果推断的分析工具，以保证在高结论质量下进行精准决策。


在实践中，中小型业务是因果推断这一工具的重要落地场景。对中小型业务而言，在脱离高速成长期后，往往会面临用户数不足、实验结果不显著的困境，而因果推断正是适配解法。目前，火山引擎A/B测试的因果推断工具已落地游戏、本地生活、电商以及互娱体验等行业的中小型业务，未来还将进一步探索更多落地场景。


在火山引擎VeDI的数智产品矩阵中，除了DataTester提供的A/B实验能力，DataFinder、DataWind、VeCDP以及GMP还能为企业提供增长分析、数据洞察分析以及精准营销的全链路数智能力。在VeDI数智产品的支持下，企业将实现全景式数据消费，降低试错成本，提高业务收益，从激烈市场竞争中脱颖而出。


点击跳转  火山引擎A/B测试DataTester 了解更多