又有大动作!神策数据 A/B 测试指标管理与试验报告双双升级!

2faadce36e8f5ad5606dcf9b2fec0d2d.png

此前,企业进行 A/B 测试时每个试验指标都需要单独配置,在业务发展初期还可以接受,但当你的公司有 5 个业务部门、每个部门有 50 个试验、每个试验需要配置 10 个指标时,该怎么办?

在神策数据 A/B 测试产品服务客户的过程中,我们收到了不少基于试验高质量增长的反馈,但与此同时,也进一步收集到了客户对 A/B 测试产品的更多需求,比如多产品线的指标配置口径统一、更细颗粒度的试验直观分析报告等。

针对此,神策数据 A/B 测试产品团队秉承着“给客户带来价值”的理念,深入客户痛点,完成指标管理与试验报告两大模块的重磅升级,明确了试验指标的类型、配置方式和计算原理并可以统一调用,显著提升试验配置效率;另一方面,新版试验报告拆分化,无论你是企业的什么角色,在使用 A/B 测试的时候,都可以快速获取更丰富、方便阅读的报告内容,以及多角度、细颗粒度的试验洞察和报告产出,全面提升产品体验。

d82f726c9055a2e2e5805ee69c90ee6a.png

接下来将详细介绍。

一、试验指标管理升级,把指标配置时间从「分钟」缩短到「秒」

为了帮助企业更好地进行试验指标管理,神策数据 A/B 测试在此次升级后,进一步完善了指标的类型、配置方式、计算原理,分析师等同学可以明确计算逻辑,最大可能减少歧义和与技术同学沟通的成本,轻松实现公司内部信息的有效统一。

比如,对于通用指标 DAU 来说,部分客户的公司内部有统一的口径,不同的业务部门做试验的时候如果跟着试验单独配置,容易造成 DAU 口径差异,带来指标口径和计算方案核对的额外成本。而通过试验指标管理功能,企业可以通过统一创建 DAU 指标,对齐后续所有试验涉及 DAU 指标的计算口径。

e4d663a15c8d36168c0e0157632339c7.png

通过神策数据 A/B 测试的指标管理功能完成统一配置后,相较于过去每个试验都需要进行指标配置的情况,针对相关性较强的试验,企业可以告别费时费力的重复配置,有效减少操作量。过去需要数十分钟的配置工作,现在只需一键调用即可快速完成。

1bfe1a4731df7157965a8caa371c2592.png

值得关注的是,神策数据 A/B 测试在此次升级后也将为客户提供常见业务指标的观测能力,帮助客户更全面地评估试验效果。

二、试验报告升级,不只有统计学指标,业务数据也一目了然

企业可以通过试验报告综合了解试验情况、同步了解业务状况、对试验进行小时/分钟粒度的监测、自定义主题分析等。通过此次升级,神策数据 A/B 测试将试验报告拆分化,同时丰富了每个细分部分的内容,全面提升报告的整体可读性和易用性。

9199293ac1b8c406104acd53a888b800.png

具体表现在:

第一,综合了解试验情况。观测试验运行至今的进组情况、重要指标的数据表现、指标的统计检验结果。也就是说,相较于之前的试验报告,试验负责人可以通过新的报告总览直观了解进组人数、重要指标的表现,并统计检验指标结果。

第二,同步了解业务状况。除了关注试验本身的数据,同时观测常用业务数据在试验期间的变化情况。

第三,实时监测。对于实时性较强的试验,如活动落地页试验等需要进行短期高频观测的场景,可以进行小时/分钟粒度的监测。

第四,自定义主题分析。通过自选指标和观测时间范围,进行主题式分析逻辑的构建,辅助产出报告或分享试验洞察。

第五,发布报告增加指标选择。可切换指标查看发布策略情况。

升级后的试验报告不再只有单纯的统计数据结果,对于关注业务类指标的产品运营同学,可直接查看试验的业务报告;对于技术同学来说,参考检验类指标相对更严谨;对于试验负责人,只需查看报告的试验总览,即可获得进组人数、重要指标的表现,以及检验指标结果。

通过指标的统一管理,报告可读性和透明性提升,打消客户 A/B 测试使用成本的顾虑,可以让客户更加聚焦业务本身,而不是反复的配置和需求沟通上。

除此之外,神策数据 A/B 测试在此次更新过程中,还进一步明确了试验进组事件,减少对指标计算逻辑的误解;同时,样本量计算器适配最新的指标管理逻辑,支持多个检验指标切换去预估样本量,自动配置计算模板。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值