AB Test是以最小的成本,最快的时间去验证策略的有效性.
2个版本,控制变量,比较更好
目的: 1. 迭代用户体验 2. 提升用户粘性 3. 提升转化率/付费率
0. A/B test的五个步骤
①确定目的和假设: 测试目的(这个是最重要的,是核心)、核心指标、原假设和备折假设
②确定流量的分配原则 不影响客户体验、科学的进行流量配比
③埋点和数据分析 设置数据埋点 、分析不同用户群体数据
④数据分析与验证 分析数据并通过假设检验得出结论
⑤汇报结果 结论与验证
1. 什么场景可以用 AB Test?
用户行为领域
-
产品迭代:比如界面优化、功能增加、流程增加,这些都可以使用 AB 实验测试产品改版是否成功。
-
策略优化:无论是运营策略还是算法策略,都可以通过 AB 实验的方式验证策略是否达到预期目标。
2. AB 实验的底层逻辑是什么?(为什么要做 AB 实验?有什么科学依据?)
主要基于两点。
-
随机化。AB 实验通过随机化的处理,使所有影响 treatmet 到 effect 的混杂因子(Confounded Factor)失效。简