引言
A/B测定义
A/B 测试以数据驱动为导向,可以实现灵活的流量切分,使得同一产品的不同版本能同时在线,通过记录和分析用户对不同版本产生的行为数据,得到效果对比,最大程度地保证结果的科学性和准确性,从而帮助人们进行科学的产品决策。
基于用户行为数据计算不同版本的指标数据,是评估实验结果的唯一依据。
指标产品设计
图1. 新增指标
指标系统产品设计上采用了指标注册的方式,用户可以在自己的业务域和业务线下进行指标注册,注册需要指定指标计算公式(SQL),指标SQL必须遵守SQL模板,并支持自定义维度(自动注册维度/关联维表)。分析层面上,用户可以查看固定与预计算好的指标,也可以进行指标的多维分析。
产品需求上,需要计算当日以及累计(实验开始时间~前一天)的样本、指标。