AB Test & AA Test
前言
AA Test: 在进行AB Test之前,对AB Test的sampling进行测试,分析两个group之间存在的本源性差异。
AB Test: 为同一款产品设计两个不同的执行方案进行投放测试。方案中控制一个变量不相同,对照结果择优。
一、AB Test
1. AB Test sampling
常见的sampling维度: Geo/ Time Splice/ Random/Pre-Post
1\ Geo: 将raw data根据地理位置划分,要求数据中含有如城市、地区、州等相关的metrics。例如将美国分为东西南北四大区域,每个区域包含州和地区(以地区为最小Geo单位),在四大区域中任意抽取地区放入group1,在达到一定条件之后停止抽取,再开始抽取地区放入group2,以此类推。
tips:停止条件可以设为重要metrics的占比,重要metrics的上下限等等。
需要注意每个区域中选取的地区应相对均衡,避免出现聚类偏差。
需要更多data进行overtime validation,并且需要在主要metrics invalid之后重新sampling。
2\ Time Splice: 以一个小时或两个小时为时间窗,对campaign进行不同的treatment操作,比如urn on和turn off&#x